融合全局结构信息的拓扑优化图卷积网络

doi:10.11772/j.issn.1001-9081.2021030380

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (2): 357-364.DOI: 10.11772/j.issn.1001-9081.2021030380

• 人工智能 • 上一篇

融合全局结构信息的拓扑优化图卷积网络

富坤(), 高金辉, 赵晓梦, 李佳宁

河北工业大学人工智能与数据科学学院，天津 300401

收稿日期:2021-03-14 修回日期:2021-06-01 接受日期:2021-06-03 发布日期:2022-02-21 出版日期:2022-02-10
通讯作者: 富坤
作者简介:富坤（1979—），女，辽宁辽阳人，副教授，博士，主要研究方向：社会网络分析、网络表示学习；
高金辉（1995—），男，天津人，硕士研究生，主要研究方向：社会网络分析、网络表示学习；
赵晓梦（1995—），女，河南郑州人，硕士研究生，主要研究方向：网络表示学习；
李佳宁（1996—），男，河北唐山人，硕士研究生，主要研究方向：网络表示学习。
基金资助:
国家自然科学基金资助项目(61806072)

Topology optimization based graph convolutional network combining with global structural information

Kun FU(), Jinhui GAO, Xiaomeng ZHAO, Jianing LI

School of Artificial Intelligence，Hebei University of Technology，Tianjin 300401，China

Received:2021-03-14 Revised:2021-06-01 Accepted:2021-06-03 Online:2022-02-21 Published:2022-02-10
Contact: Kun FU
About author:FU Kun， born in 1979， Ph. D.， associate professor. Her research interests include social network analysis， network representation learning.
GAO Jinhui， born in 1995， M. S. candidate. His research interests include social network analysis， network representation learning.
ZHAO Xiaomeng， born in 1995， M. S. candidate. Her research interests include network representation learning.
LI Jianing， born in 1996， M. S. candidate. His research interests include network representation learning.
Supported by:
National Natural Science Foundation of China(61806072)

摘要/Abstract

摘要：

基于拓扑优化的图卷积网络（TOGCN）是一类图卷积神经网络（GCNN）模型，它通过网络中的辅助信息优化网络拓扑结构，有利于反映节点间的联系程度；然而TOGCN模型仅注重局部节点之间的关联关系，对网络潜在的全局结构信息关注不足。融合全局特征信息，有助于提高模型的性能和处理信息缺失时的鲁棒性。提出了融合全局结构信息的拓扑优化图卷积网络（GE-TOGCN）模型，该模型一方面利用相邻节点的属性对拓扑图进行优化；另一方面使用类信息作为网络的全局结构信息，从而保持类内聚合性和类间分离性。首先根据标记节点计算类中心向量；然后利用部分未标记节点来更新类中心向量；最后将所有节点根据其与类中心向量的相似度分配到对应的类中，并通过一个半监督损失函数优化各类的类中心向量与节点的最终表示向量。在Cora、Citeseer数据集上，在标签信息缺失的情况下运用得到的节点表示向量进行了节点分类任务与节点可视化任务。实验结果表明，GE-TOGCN模型与图卷积网络（GCN）、图学习卷积网络（GLCN）等模型相比，在Cora数据集上的分类准确率提高了1.2~12.0个百分点，在Citeseer数据集上的分类准确率提高了0.9~9.9个百分点；而在节点可视化任务中所提模型的类内节点聚合程度更高，类簇之间的边界更明显。可见，融合类全局信息能减少标签信息缺失对模型学习效果的不良影响，且该模型得到的节点表示在下游任务中表现出了更好的性能。

关键词: 网络表示学习, 图嵌入, 图卷积神经网络, 全局结构信息, 拓扑优化

Abstract:

As a kind of Graph Convolutional Neural Network （GCNN）， Topology Optimization based Graph Convolutional Network （TOGCN） model adopts auxiliary information in the network to optimize topological structure of the network， thereby helping to reflect the relational degrees between the nodes. However， TOGCN model only focuses on the association between local nodes， and not enough on the potential global structure information. Fusing global feature information， the model will help to improve performance as well as its robustness in dealing with incomplete information. A Global structure information Enhanced-TOGCN （GE-TOGCN） model was proposed， the attributes of neighboring nodes were utilized to optimize the topological graph， and the class information was regarded as the global structure information to maintain intra-class aggregation and inter-class separation. Firstly， the center vector of each class was calculated by the labeled nodes， then some unlabeled nodes were selected to update these class center vectors. Finally， all the nodes were assigned to the corresponding class according to their similarity to class center vectors， and a semi-supervised loss function was adopted to optimize the class center vector of each class and the final representation vectors of the nodes. On Cora and Citeseer datasets， node classification task and node visualization task were performed by using the obtained node representation vectors with the loss of label information. Experimental results show that compared with Graph Convolutional Network （GCN）， Graph Learning-Convolutional Network （GLCN） and other models， GE-TOGCN has the classification accuracy increased by 1.2-12.0 percentage points on Cora dataset， and the classification accuracy increased by 0.9-9.9 percentage points on Citeseer dataset. In node visualization task， the proposed model has higher degree of intra-class node aggregation and more obvious boundaries between class clusters. In summary， the fusion of class global information can reduce the negative influence of label information loss on learning effects of the model， and the node representations obtained by the proposed model have better performance in downstream tasks.

Key words: network representation learning, graph embedding, Graph Convolutional Neural Network (GCNN), global structural information, topology optimization

中图分类号:

TP181

富坤, 高金辉, 赵晓梦, 李佳宁. 融合全局结构信息的拓扑优化图卷积网络[J]. 计算机应用, 2022, 42(2): 357-364.

Kun FU, Jinhui GAO, Xiaomeng ZHAO, Jianing LI. Topology optimization based graph convolutional network combining with global structural information[J]. Journal of Computer Applications, 2022, 42(2): 357-364.

图/表 5

参考文献 23

1	刘元文.复杂网络通信中信息可信传播模型分析与优化机制［D］.深圳：哈尔滨工业大学， 2019： 1-6. 10.7498/aps.69.20190921
	LIU Y W. Credible information dissemination model analysis and optimization mechanism for complex network communications［D］. Shenzhen： Harbin Institute of Technology， 2019： 1-6. 10.7498/aps.69.20190921
2	涂存超，杨成，刘知远，等.网络表示学习综述［J］.中国科学：信息科学， 2017， 47： 980-996. 10.1360/n112017-00145
	TU C C， YANG C， LIU Z Y， et al. Network representation learning： an overview［J］. SCIENTIA SINICA Informations， 2017， 47： 980-996. 10.1360/n112017-00145
3	LECUN Y， BOTTOU L， BENGIO Y， et al. Gradient-based learning applied to document recognition［J］. Proceedings of the IEEE， 1998， 86（11）： 2278-2324. 10.1109/5.726791
4	ZHANG S， TONG H H， XU J J， et al. Graph convolutional networks： algorithms， applications and open challenges ［C］// Proceedings of the 2018 International Conference on Computational Social Networks， LNCS11280. Cham： Springer， 2018： 79-91.
5	JIN D， SONG X C， YU Z Z， et al. BiTe-GCN： a new GCN architecture via bidirectional convolution of topology and features on text-rich networks ［C］// Proceedings of the 14th ACM International Conference on Web Search and Data Mining. New York： ACM， 2021： 157-165. 10.1145/3437963.3441774
6	JIN D， LIU Z Y， LI W H， et al. Graph convolutional networks meet Markov random fields： semi-supervised community detection in attribute networks ［C］// Proceedings of the 33rd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2019： 152-159. 10.1609/aaai.v33i01.3301152
7	BRUNA J， ZAREMBA W， SZLAM A， et al. Spectral networks and locally connected networks on graphs［EB/OL］. （2014-05-21）［2021-02-20］. .
8	DEFFERRARD M， BRESSON X， VANDERGHEYNST P. Convolutional neural networks on graphs with fast localized spectral filtering ［C］// Proceedings of the 30th International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2016： 3844-3852.
9	KIPF T N， WELLING M. Semi-supervised classification with graph convolutional networks［EB/OL］. （2017-02-22）［2021-02-20］. .
10	LEVIE R， MONTI F， BRESSON X， et al. CayleyNets： graph convolutional neural networks with complex rational spectral filters［J］. IEEE Transactions on Signal Processing， 2019， 67（1）： 97-109. 10.1109/tsp.2018.2879624
11	MICHELI A. Neural network for graphs： a contextual constructive approach［J］. IEEE Transactions on Neural Networks， 2009， 20（3）： 498-511. 10.1109/tnn.2008.2010350
12	ATWOOD J， TOWSLEY D. Diffusion convolutional neural networks ［C］// Proceedings of the 30th International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2016： 2001-2009.
13	VELIČKOVIĆ P， CUCURULL G， CASANOVA A， et al. Graph attention networks［EB/OL］. （2018-02-04）［2021-02-20］. .
14	LI R Y， WANG S， ZHU F Y， et al. Adaptive graph convolutional neural networks ［C］// Proceedings of the 32nd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2018： 3546-3553. 10.1609/aaai.v34i05.6330
15	VASHISHTH S， YADAV P， BHANDARI M， et al. Confidence-based graph convolutional networks for semi-supervised learning ［C］// Proceedings of the 22nd International Conference on Artificial Intelligence and Statistics. New York： JMLR.org， 2019： 1792-1801.
16	JIANG B， ZHANG Z Y， LIN D D， et al. Semi-supervised learning with graph learning-convolutional networks ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 11305-11312. 10.1109/cvpr.2019.01157
17	ZHANG D K， YIN J， ZHU X Q， et al. Network representation learning： a survey［J］. IEEE Transactions on Big Data， 2020， 6（1）： 3-28. 10.1109/tbdata.2018.2850013
18	CAI W L， ZHOU H H， XU L. A multi-view co-training clustering algorithm based on global and local structure preserving［J］. IEEE Access， 2021， 9： 29293-29302. 10.1109/access.2021.3056677
19	LI R， WANG X D， LAI J， et al. Discriminative auto-encoder with local and global graph embedding［J］. IEEE Access， 2020， 8： 28614-28623. 10.1109/access.2020.2972132
20	LIN W Y， GAO Z L， LI B C. Shoestring： graph-based semi-supervised classification with severely limited labeled data ［C］// Proceedings of the 2020 IEEE/CVF International Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 4173-4181. 10.1109/cvpr42600.2020.00423
21	KINGMA D P， BA J L. Adam： a method for stochastic optimization［EB/OL］. （2017-01-30）［2021-02-20］. .
22	OPITZ J， BURST S. Macro F1 and macro F1［EB/OL］. （2021-02-08）［2021-02-20］. .
23	MAATEN L VAN DER， HINTON G. Visualizing data using t-SNE［J］. Journal of Machine Learning Research， 2008， 9： 2579-2605.

数据集	Cora	Citeseer
节点数	2 708	3 327
边数	5 429	4 732
属性数	1 433	3 703
类个数	7	6
验证集节点数	500	500
测试集节点数	1 000	1 000

数据集	Cora	Citeseer
节点数	2 708	3 327
边数	5 429	4 732
属性数	1 433	3 703
类个数	7	6
验证集节点数	500	500
测试集节点数	1 000	1 000

模型方法	每类训练节点不同个数下的分类准确率
模型方法	1	2	5	10
ChebNet	28.8	43.7	57.2	70.8
GCN	38.6	48.5	70.0	77.0
GLCN	48.6	57.6	71.9	78.5
Conf-GCN	47.1	58.0	72.1	78.4
GE-TOGCN	60.6	70.0	75.4	79.7

模型方法	每类训练节点不同个数下的分类准确率
模型方法	1	2	5	10
ChebNet	28.8	43.7	57.2	70.8
GCN	38.6	48.5	70.0	77.0
GLCN	48.6	57.6	71.9	78.5
Conf-GCN	47.1	58.0	72.1	78.4
GE-TOGCN	60.6	70.0	75.4	79.7

模型方法	每类训练节点不同个数下的分类准确率
模型方法	1	2	5	10
ChebNet	24.9	36.2	51.7	63.8
GCN	30.6	39.8	53.8	67.4
GLCN	44.8	50.6	61.3	68.0
Conf-GCN	43.3	46.9	60.0	67.5
GE-TOGCN	53.0	60.5	67.0	68.9

融合全局结构信息的拓扑优化图卷积网络

Topology optimization based graph convolutional network combining with global structural information

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 5

参考文献 23

相关文章 15

编辑推荐

Metrics

[1]	李扬, 吴安彪, 袁野, 赵琳琳, 王国仁. 基于节点相似度的无监督属性图嵌入模型[J]. 《计算机应用》唯一官方网站, 2022, 42(1): 1-8.
[2]	董永峰, 屈向前, 李林昊, 董瑶. 基于作者偏好的学术投稿刊物推荐算法[J]. 《计算机应用》唯一官方网站, 2022, 42(1): 50-56.
[3]	牟长宁, 王海鹏, 周丕宇, 侯鑫行. 基于图卷积神经网络的串联质谱从头测序[J]. 计算机应用, 2021, 41(9): 2773-2779.
[4]	车冰倩, 周栋. 融合网络结构信息及文本内容的标签推荐方法[J]. 计算机应用, 2021, 41(4): 976-983.
[5]	樊玮, 王慧敏, 邢艳. 基于自编码器的多视图属性网络表示学习模型[J]. 计算机应用, 2021, 41(4): 1064-1070.
[6]	李慧博, 赵云霄, 白亮. 基于深度神经网络和门控循环单元的动态图表示学习方法[J]. 《计算机应用》唯一官方网站, 2021, 41(12): 3432-3437.
[7]	付颖, 王红玲, 王中卿. 基于宏观篇章结构的科技论文摘要模型[J]. 计算机应用, 2021, 41(10): 2864-2870.
[8]	赖自成, 张玉萍, 马燕. 基于门控图卷积神经网络的有机化学反应预测[J]. 计算机应用, 2021, 41(10): 3070-3074.
[9]	徐周波, 李珍, 刘华东, 李萍. 基于邻居信息聚合的子图同构匹配算法[J]. 计算机应用, 2021, 41(1): 43-47.
[10]	易东义, 邓根强, 董超雄, 祝苗苗, 吕周平, 朱岁松. 基于图卷积神经网络的医保欺诈检测算法[J]. 计算机应用, 2020, 40(5): 1272-1277.
[11]	王文涛, 吴淋涛, 黄烨, 朱容波. 基于密集连接卷积神经网络的链路预测模型[J]. 计算机应用, 2019, 39(6): 1632-1638.
[12]	杨洋, 王正群, 徐春林, 严陈, 鞠玲. 基于最大间隔准则的鲁棒多流形判别局部图嵌入算法[J]. 计算机应用, 2019, 39(5): 1453-1458.
[13]	刘正铭, 马宏, 刘树新, 李海涛, 常圣. 融合节点描述属性信息的网络表示学习算法[J]. 计算机应用, 2019, 39(4): 1012-1020.
[14]	王文涛, 黄烨, 吴淋涛, 柯璇, 唐菀. 基于改进随机游走的网络表示学习算法[J]. 计算机应用, 2019, 39(3): 651-655.
[15]	陈可佳, 杨泽宇, 刘峥, 鲁浩. 基于邻域选择策略的图卷积网络模型[J]. 计算机应用, 2019, 39(12): 3415-3419.