基于节点-属性二部图的网络表示学习模型

doi:10.11772/j.issn.1001-9081.2021060972

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (8): 2311-2318.DOI: 10.11772/j.issn.1001-9081.2021060972

所属专题：人工智能

• 人工智能 • 下一篇

基于节点-属性二部图的网络表示学习模型

周乐¹^,²^,³, 代婷婷¹, 李淳², 谢军², 楚博策³, 李峰³, 张君毅², 刘峤¹()

^1.电子科技大学信息与软件工程学院, 成都 610054
^2.河北省电磁频谱认知与管控重点实验室, 石家庄 050081
^3.中国电子科技集团公司航天信息应用技术重点实验室, 石家庄 050081

收稿日期:2021-06-08 修回日期:2021-08-17 接受日期:2021-08-20 发布日期:2022-08-09 出版日期:2022-08-10
通讯作者: 刘峤
作者简介:周乐（1997—），女，湖北黄冈人，硕士研究生，主要研究方向：本体构建、表示学习、知识图谱；
代婷婷（1995—），女，重庆人，博士研究生，主要研究方向：本体构建、表示学习、知识图谱、基于会话的推荐；
李淳（1971—），女，河北石家庄人，研究员，博士，主要研究方向：无线电通信工程、通信对抗；
谢军（1968—），男，河北石家庄人，研究员，硕士，主要研究方向：通信对抗；
楚博策（1991—），男，河北邢台人，工程师，硕士，主要研究方向：航天大数据挖掘、遥感图像处理；
李峰（1982—），男，山东章丘人，高级工程师，硕士，主要研究方向：航天地面应用、地理信息系统、航天信息共享服务；
张君毅（1969—），男，河北深泽人，研究员，博士，主要研究方向：通信对抗、信号处理；
刘峤（1974—），男，四川成都人，教授，博士，主要研究方向：自然语言处理、机器学习、知识图谱。
基金资助:
国家自然科学基金资助项目(U19B2028);中国电子科技集团公司第五十四研究所开放课题(191055);中央高校基本科研业务费专项基金资助项目(ZYGX2019J077)

Network representation learning model based on node attribute bipartite graph

Le ZHOU¹^,²^,³, Tingting DAI¹, Chun LI², Jun XIE², Boce CHU³, Feng LI³, Junyi ZHANG², Qiao LIU¹()

^1.School of Information and Software Engineering，University of Electronic Science and Technology of China，Chengdu Sichuan 610054，China
^2.Hebei Key Laboratory of Electromagnetic Spectrum Cognition and Control，Shijiazhuang Hebei 050081，China
^3.Key Laboratory of Aerospace Information Applications，China Electronics Technology Group Corporation，Shijiazhuang Hebei 050081，China

Received:2021-06-08 Revised:2021-08-17 Accepted:2021-08-20 Online:2022-08-09 Published:2022-08-10
Contact: Qiao LIU
About author:ZHOU Le， born in 1997， M. S. candidate. Her research interests include ontology construction， representation learning， knowledge graph.
DAI Tingting， born in 1995， Ph. D. candidate. Her research interests include ontology construction， representation learning， knowledge graph， session-based recommendation.
LI Chun， born in 1971， Ph. D.， research fellow. Her research interests include radio communication engineering， communication countermeasures.
XIE Jun， born in 1968， M. S.， research fellow. His research interests include communication countermeasures.
CHU Boce， born in 1991， M. S.， engineer. His research interests include aerospace big data mining， remote sensing image processing.
LI Feng， born in 1982， M. S.， senior engineer. His research interests include aerospace ground application， geographic information system， aerospace information sharing service.
ZHANG Junyi， born in 1969， Ph. D.， research fellow. His research interests include communication countermeasures， signal processing.
LIU Qiao， born in 1974， Ph. D.， professor. His research interests include natural language processing， machine learning， knowledge graph.
Supported by:
National Natural Science Foundation of China(U19B2028);Open Subject of the No.54 Research Institute of China Electronics Technology Group Corporation(191055);Fundamental Research Funds for the Central Universities(ZYGX2019J077)

摘要/Abstract

摘要：

在图结构数据上开展推理计算是一项重大的任务，该任务的主要挑战是如何表示图结构知识使机器可以快速理解并利用图数据。对比现有表示学习模型发现，基于随机游走方法的表示学习模型容易忽略属性对节点关联关系的特殊作用，因此提出一种基于节点邻接关系与属性关联关系的混合随机游走方法。首先通过邻接节点间的共同属性分布计算属性权重，并获取节点到每个属性的采样概率；然后分别从邻接节点与含有共有属性的非邻接节点中提取网络信息；最后构建基于节点-属性二部图的网络表示学习模型，并通过上述采样序列学习得到节点向量表达。在Flickr、BlogCatalog、Cora公开数据集上，用所提模型得到的节点向量表达进行节点分类的Micro-F1平均准确率为89.38%，比GraphRNA（Graph Recurrent Networks with Attributed random walks）高出了2.02个百分点，比经典工作DeepWalk高出了21.12个百分点；同时，对比不同随机游走方法发现，提高对节点关联有促进作用的属性的采样概率可以增加采样序列所含信息。

关键词: 网络嵌入, 表示学习, 随机游走, 网络采样, 属性网络, 节点分类

Abstract:

It is an important task to carry out reasoning and calculation on graph structure data. The main challenge of this task is how to represent graph-structured knowledge so that machines can easily understand and use graph structure data. After comparing the existing representation learning models， it is found that the models based on random walk methods are likely to ignore the special effect of attributes on the association between nodes. Therefore， a hybrid random walk method based on node adjacency and attribute association was proposed. Firstly the attribute weights were calculated through the common attribute distribution among adjacent nodes， and the sampling probability from the node to each attribute was obtained. Then， the network information was extracted from adjacent nodes and non-adjacent nodes with common attributes respectively. Finally， the network representation learning model based on node attribute bipartite graph was constructed， and the node vector representations were obtained through the above sampling sequence learning. Experimental results on Flickr， BlogCatalog and Cora public datasets show that the Micro-F1 average accuracy of node classification by the node vector representations obtained by the proposed model is 89.38%， which is 2.02 percentage points higher than that of GraphRNA （Graph Recurrent Networks with Attributed random walk） and 21.12 percentage points higher than that of classical work DeepWalk. At the same time， by comparing different random walk methods， it is found that increasing the sampling probabilities of attributes that promote node association can improve the information contained in the sampling sequence.

Key words: network embedding, representation learning, random walk, network sampling, attributed network, node classification

中图分类号:

TP391

周乐, 代婷婷, 李淳, 谢军, 楚博策, 李峰, 张君毅, 刘峤. 基于节点-属性二部图的网络表示学习模型[J]. 计算机应用, 2022, 42(8): 2311-2318.

Le ZHOU, Tingting DAI, Chun LI, Jun XIE, Boce CHU, Feng LI, Junyi ZHANG, Qiao LIU. Network representation learning model based on node attribute bipartite graph[J]. Journal of Computer Applications, 2022, 42(8): 2311-2318.

图/表 6

参考文献 24

1	BACKSTROM L， LESKOVEC J. Supervised random walks： predicting and recommending links in social networks ［C］// Proceedings of the 4th ACM International Conference on Web Search and Data Mining. New York： ACM， 2011： 635-644. 10.1145/1935826.1935914
2	PEROZZI B， AL-RFOU R， SKIENA S. DeepWalk： online learning of social representations ［C］// Proceedings of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2014： 701-710. 10.1145/2623330.2623732
3	GROVER A， LESKOVEC J. Node2vec： scalable feature learning for networks ［C］// Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2016： 855-864. 10.1145/2939672.2939754
4	HUANG X， SONG Q Q， LI Y N， et al. Graph recurrent networks with attributed random walks ［C］// Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2019： 732-740. 10.1145/3292500.3330941
5	BORDES A， USUNIER N， GARCIA-DURÁN A， et al. Translating embeddings for modeling multi-relational data ［C］// Proceedings of the 26th International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2013： 2787-2795.
6	KIPF T N， WELLING M. Semi-supervised classification with graph convolutional networks［EB/OL］. （2017-02-22）［2021-04-10］. .
7	杨晓慧，万睿，张海滨，等.基于符号语义映射的知识图谱表示学习算法［J］.计算机研究与发展， 2018， 55（8）： 1773-1784. 10.7544/issn1000-1239.2018.20180248
	YANG X H， WAN R， ZHANG H B， et al. Semantical symbol mapping embedding learning algorithm for knowledge graph［J］. Journal of Computer Research and Development， 2018， 55（8）： 1773-1784. 10.7544/issn1000-1239.2018.20180248
8	NIKOLAKOPOULOS A N， KARYPIS G. RecWalk： nearly uncoupled random walks for Top-n recommendation ［C］// Proceedings of the 12th ACM International Conference on Web Search and Data Mining. New York： ACM， 2019： 150-158. 10.1145/3289600.3291016
9	MEILĂ M， SHI J B. A random walks view of spectral segmentation ［C］// Proceedings of the 8th International Workshop on Artificial Intelligence and Statistics. New York： JMLR.org， 2001： 203-208.
10	COOPER C， LEE S H， RADZIK T， et al. Random walks in recommender systems： exact computation and simulations ［C］// Proceedings of the 23rd International Conference on World Wide Web. New York： ACM， 2014： 811-816. 10.1145/2567948.2579244
11	冶忠林，赵海兴，张科，等.基于邻节点和关系模型优化的网络表示学习［J］.计算机研究与发展， 2019， 56（12）： 2562-2577. 10.7544/issn1000-1239.2019.20180566
	YE Z L， ZHAO H X， ZHANG K， et al. Network representation learning using the optimizations of neighboring vertices and relation model［J］. Journal of Computer Research and Development， 2019， 56（12）： 2562-2577. 10.7544/issn1000-1239.2019.20180566
12	WANG Z， ZHANG J W， FENG J L， et al. Knowledge graph embedding by translating on hyperplanes ［C］// Proceedings of the 28th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2014： 1112-1119. 10.1609/aaai.v28i1.8870
13	方阳，赵翔，谭真，等.一种改进的基于翻译的知识图谱表示方法［J］.计算机研究与发展， 2018， 55（1）： 139-150. 10.7544/issn1000-1239.2018.20160723
	FANG Y， ZHAO X， TAN Z， et al. A revised translation-based method for knowledge graph representation［J］. Journal of Computer Research and Development， 2018， 55（1）： 139-150. 10.7544/issn1000-1239.2018.20160723
14	YANG B S， YIH W T， HE X D， et al. Embedding entities and relations for learning and inference in knowledge bases［EB/OL］. （2015-08-29）［2021-04-10］. .
15	TROUILLON T， WELBL J， RIEDEL S， et al. Complex embeddings for simple link prediction ［C］// Proceedings of the 33rd International Conference on Machine Learning. New York： JMLR.org， 2016： 2071-2080.
16	DETTMERS T， MINERVINI P， STENETORP P， et al. Convolutional 2D knowledge graph embeddings ［C］// Proceedings of the 32nd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2018： 1811-1818. 10.1609/aaai.v32i1.11573
17	NICKEL M， ROSASCO L， POGGIO T. Holographic embeddings of knowledge graphs ［C］// Proceedings of the 30th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2016： 1955-1961. 10.1609/aaai.v30i1.10314
18	YUN S， JEONG M， KIM R， et al. Graph transformer networks［C/OL］// Proceedings of the 33rd Conference on Neural Information Processing Systems. ［2021-04-10］. . 10.1016/j.neunet.2022.05.026
19	RIBEIRO L F R， SAVERESE P H P， FIGUEIREDO D R. Struc2vec： Learning node representations from structural identity ［C］// Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2017： 385-394. 10.1145/3097983.3098061
20	HOU Y F， CHEN H Z， LI C J， et al. A representation learning framework for property graphs ［C］// Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2019： 65-73. 10.1145/3292500.3330948
21	AHMED N K， ROSSI R A， LEE J B， et al. Role-based graph embeddings［J］. IEEE Transactions on Knowledge and Data Engineering， 2022， 34（5）： 2401-2415. 10.1109/tkde.2020.3006475
22	HUANG X， LI J D， ZOU N， et al. A general embedding framework for heterogeneous information learning in large-scale networks［J］. ACM Transactions on Knowledge Discovery from Data， 2018， 12（6）： No.70. 10.1145/3241063
23	MCPHERSON M， SMITH-LOVIN L， COOK J M. Birds of a feather： homophily in social networks［J］. Annual Review of Sociology， 2001， 27： 415-444. 10.1146/annurev.soc.27.1.415
24	ZHANG J， TANG J， LI J Z， et al. Who influenced you？ Predicting retweet via social influence locality［J］. ACM Transactions on Knowledge Discovery from Data， 2015， 9（3）： No.25. 10.1145/2700398

数据集	n	m	k	l	Edge Density	Attributed Density
Flickr	7 575	239 738	12 047	9	8.35E-03	2.00E-03
BlogCatalog	5 196	171 743	8 189	6	1.27E-02	8.68E-03
Cora	2 708	5 278	1 433	7	1.44E-03	1.26E-02

数据集	n	m	k	l	Edge Density	Attributed Density
Flickr	7 575	239 738	12 047	9	8.35E-03	2.00E-03
BlogCatalog	5 196	171 743	8 189	6	1.27E-02	8.68E-03
Cora	2 708	5 278	1 433	7	1.44E-03	1.26E-02

数据集	训练集的比例	Micro-F1
数据集	训练集的比例	DeepWalk	node2vec	GraphRNA	NE-NAB_NW	NE-NAB_NA	NE-NAB
Flickr	50	64.92	71.37	87.27	89.18	88.12	89.05
	70	66.28	73.92	88.76	90.10	89.28	89.80
	90	67.51	74.29	87.60	87.47	88.24	88.50
BlogCatalog	50	65.55	63.08	92.12	92.47	91.01	93.20
	70	67.09	65.49	93.11	93.62	93.72	93.74
	90	67.11	65.38	92.75	93.14	92.55	94.12
Cora	50	69.38	74.86	80.45	83.25	81.74	83.70
	70	72.35	75.37	81.68	83.64	83.27	85.96
	90	74.18	76.3	82.49	83.27	84.05	86.38
数据集	训练集的比例	Macro-F1
数据集	训练集的比例	DeepWalk	node2vec	GraphRNA	NE-NAB_NW	NE-NAB_NA	NE-NAB
Flickr	50	63.49	69.53	87.03	89.14	88.23	88.95
	70	65.62	72.42	88.62	89.86	89.24	89.59
	90	66.62	73.84	88.05	87.52	88.40	88.49
BlogCatalog	50	64.71	62.45	92.09	92.44	90.95	93.19
	70	66.20	64.83	93.11	93.61	93.72	93.74
	90	66.07	64.42	92.64	92.96	92.36	94.04
Cora	50	68.14	72.95	78.30	81.45	79.99	82.04
	70	71.62	73.43	79.41	81.44	81.13	84.24
	90	72.35	72.35	79.58	81.32	82.07	84.61

数据集	训练集的比例	Micro-F1
数据集	训练集的比例	DeepWalk	node2vec	GraphRNA	NE-NAB_NW	NE-NAB_NA	NE-NAB
Flickr	50	64.92	71.37	87.27	89.18	88.12	89.05
	70	66.28	73.92	88.76	90.10	89.28	89.80
	90	67.51	74.29	87.60	87.47	88.24	88.50
BlogCatalog	50	65.55	63.08	92.12	92.47	91.01	93.20
	70	67.09	65.49	93.11	93.62	93.72	93.74
	90	67.11	65.38	92.75	93.14	92.55	94.12
Cora	50	69.38	74.86	80.45	83.25	81.74	83.70
	70	72.35	75.37	81.68	83.64	83.27	85.96
	90	74.18	76.3	82.49	83.27	84.05	86.38
数据集	训练集的比例	Macro-F1
数据集	训练集的比例	DeepWalk	node2vec	GraphRNA	NE-NAB_NW	NE-NAB_NA	NE-NAB
Flickr	50	63.49	69.53	87.03	89.14	88.23	88.95
	70	65.62	72.42	88.62	89.86	89.24	89.59
	90	66.62	73.84	88.05	87.52	88.40	88.49
BlogCatalog	50	64.71	62.45	92.09	92.44	90.95	93.19
	70	66.20	64.83	93.11	93.61	93.72	93.74
	90	66.07	64.42	92.64	92.96	92.36	94.04
Cora	50	68.14	72.95	78.30	81.45	79.99	82.04
	70	71.62	73.43	79.41	81.44	81.13	84.24
	90	72.35	72.35	79.58	81.32	82.07	84.61

[1]	李顺勇, 李师毅, 胥瑞, 赵兴旺. 基于自注意力融合的不完整多视图聚类算法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2696-2703.
[2]	杜郁, 朱焱. 构建预训练动态图神经网络预测学术合作行为消失[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2726-2731.
[3]	王清, 赵杰煜, 叶绪伦, 王弄潇. 统一框架的增强深度子空间聚类方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 1995-2003.
[4]	黎施彬, 龚俊, 汤圣君. 基于Graph Transformer的半监督异配图表示学习模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1816-1823.
[5]	郑文萍, 葛慧琳, 刘美麟, 杨贵. 融合二连通模体结构信息的节点分类算法[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1464-1470.
[6]	徐大鹏, 侯新民. 基于网络结构设计的图神经网络特征选择方法[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 663-670.
[7]	朱云华, 孔兵, 周丽华, 陈红梅, 包崇明. 图对比学习引导的多视图聚类网络[J]. 《计算机应用》唯一官方网站, 2024, 44(10): 3267-3274.
[8]	黄懿蕊, 罗俊玮, 陈景强. 基于对比学习和GIF标记的多模态对话回复检索[J]. 《计算机应用》唯一官方网站, 2024, 44(1): 32-38.
[9]	王春雷, 王肖, 刘凯. 多模态知识图谱表示学习综述[J]. 《计算机应用》唯一官方网站, 2024, 44(1): 1-15.
[10]	张琨, 杨丰玉, 钟发, 曾广东, 周世健. 基于混合代码表示的源代码脆弱性检测[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2517-2526.
[11]	周寅莹, 周允升, 余敦辉, 孙军. 基于消极相似性的自适应社会化推荐[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2439-2447.
[12]	王静红, 周志霞, 王辉, 李昊康. 双路自编码器的属性网络表示学习[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2338-2344.
[13]	王菁怡, 李超, 宋衡, 李迪, 朱俊武. 基于随机游走算法的频谱组合拍卖机制[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2352-2357.
[14]	张忠平, 郭鑫, 张玉停, 张睿博. 基于全息图平稳分布因子的离群点检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1705-1712.
[15]	王永贵, 时启文. 结合异构关系增强图神经网络的社交推荐[J]. 《计算机应用》唯一官方网站, 2023, 43(11): 3464-3471.

基于节点-属性二部图的网络表示学习模型

Network representation learning model based on node attribute bipartite graph

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 6

参考文献 24

相关文章 15

编辑推荐

Metrics