基于深度神经网络和门控循环单元的动态图表示学习方法

doi:10.11772/j.issn.1001-9081.2021060994

《计算机应用》唯一官方网站 ›› 2021, Vol. 41 ›› Issue (12): 3432-3437.DOI: 10.11772/j.issn.1001-9081.2021060994

• 第十八届中国机器学习会议(CCML 2021) • 上一篇

基于深度神经网络和门控循环单元的动态图表示学习方法

李慧博¹^,², 赵云霄¹^,², 白亮¹^,²()

^1.计算机智能与中文信息处理教育部重点实验室（山西大学），太原 030006
^2.山西大学计算机与信息技术学院，太原 030006

收稿日期:2021-05-12 修回日期:2021-06-28 接受日期:2021-07-26 发布日期:2021-12-28 出版日期:2021-12-10
通讯作者: 白亮
作者简介:李慧博（1997—），男，山西长治人，硕士研究生，主要研究方向：图表示学习
赵云霄（1988—），男，山西方山人，博士研究生，CCF会员，主要研究方向：聚类、半监督、弱监督；
基金资助:
国家自然科学基金资助项目(62022052);国家重点研发计划项目(2020AAA0106100);山西省基础研究计划项目(201901D211192)

Dynamic graph representation learning method based on deep neural network and gated recurrent unit

Huibo LI¹^,², Yunxiao ZHAO¹^,², Liang BAI¹^,²()

^1.Key Laboratory of Computational Intelligence and Chinese Information Processing of Ministry of Education，Taiyuan Shanxi 030006，China
^2.School of Computer and Information Technology，Shanxi University，Taiyuan Shanxi 030006，China

Received:2021-05-12 Revised:2021-06-28 Accepted:2021-07-26 Online:2021-12-28 Published:2021-12-10
Contact: Liang BAI
About author:LI Huibo， born in 1997， M. S. candidate. His research interests include graph representation learning.
ZHAO Yunxiao， born in 1988， Ph. D. candidate. His research interests include clustering， semi-supervision， weak supervision.
Supported by:
the National Natural Science Foundation of China(62022052);the National Key Research and Development Program of China(2020AAA0106100);the Shanxi Basic Research Program(201901D211192)

摘要/Abstract

摘要：

学习图中节点的潜在向量表示是一项重要且普遍存在的任务，旨在捕捉图中节点的各种属性。大量工作证明静态图表示已经能够学习到节点的部分信息，然而，真实世界的图是随着时间的推移而演变的。为了解决多数动态网络算法不能有效保留节点邻域结构和时态信息的问题，提出了基于深度神经网络（DNN）和门控循环单元（GRU）的动态网络表示学习方法DynAEGRU。该方法以自编码器作为框架，其中的编码器首先用DNN聚集邻域信息以得到低维特征向量，然后使用GRU网络提取节点时态信息，最后用解码器重构邻接矩阵并将其与真实图对比来构建损失。通过与几种静态图和动态图表示学习算法在3个数据集上进行实验分析，结果表明DynAEGRU具有较好的性能增益。

关键词: 动态网络表示学习, 深度神经网络, 自编码器, 门控循环单元, 链路预测

Abstract:

Learning the latent vector representations of nodes in the graph is an important and ubiquitous task， which aims to capture various attributes of the nodes in the graph. A lot of work demonstrates that static graph representation learning can learn part of the node information； however， real-world graphs evolve over time. In order to solve the problem that most dynamic network algorithms cannot effectively retain node neighborhood structure and temporal information， a dynamic network representation learning method based on Deep Neural Network （DNN） and Gated Recurrent Unit （GRU）， namely DynAEGRU， was proposed. With Auto-Encoder （AE） as the framework of the DynAEGRU， the neighborhood information was aggregated by encoder with a DNN to obtain low-dimensional feature vectors， then the node temporal information was extracted by a GRU network，finally， the adjacency matrix was reconstructed by the decoder and compared with the real graph to construct the loss. Experimental results on three real-word datasets show that DynAEGRU method has better performance gain compared to several static and dynamic graph representation learning algorithms.

Key words: dynamic network representation learning, Deep Neural Network (DNN), Auto-Encoder (AE), Gated Recurrent Unit (GRU), link prediction

中图分类号:

TP183

李慧博, 赵云霄, 白亮. 基于深度神经网络和门控循环单元的动态图表示学习方法[J]. 计算机应用, 2021, 41(12): 3432-3437.

Huibo LI, Yunxiao ZHAO, Liang BAI. Dynamic graph representation learning method based on deep neural network and gated recurrent unit[J]. Journal of Computer Applications, 2021, 41(12): 3432-3437.

图/表 6

参考文献 29

1	WASSERMAN S， FAUST K. Social network analysis： methods and applications［J］. Proceedings of the Institute for System Programming of RAS， 1994， 26（1）：439-456. 10.1017/cbo9780511815478
2	GEHRKE J， GINSPARG P， KLEINBERG J. Overview of the 2003 KDD Cup［J］. ACM SIGKDD Explorations Newsletter， 2003， 5（2）： 149-151. 10.1145/980972.980992
3	PAVLOPOULOS G A， WEGENER A L， SCHNEIDER R. A survey of visualization tools for biological network analysis［J］. BioData Mining， 2008， 1： No.12. 10.1186/1756-0381-1-12
4	TANG J， QU M， WANG M Z， et al. LINE： large-scale information network embedding［C］// Proceedings of the 24th International Conference on World Wide Web. Republic and Canton of Geneva： International World Wide Web Conferences Steering Committee， 2015： 1067-1077. 10.1145/2736277.2741093
5	PEROZZI B， AL-RFOU R， SKIENA S. DeepWalk： online learning of social representations［C］// Proceedings of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2014： 701-710. 10.1145/2623330.2623732
6	GROVER A， LESKOVEC J. node2vec： Scalable feature learning for networks［C］// Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2016： 855-864. 10.1145/2939672.2939754
7	ZHOU L K， YANG Y， REN X， et al. Dynamic network embedding by modeling triadic closure process［C］// Proceedings of the 32nd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2018： 571-578.
8	GOYAL P， KAMRA N， HE X R， et al. DynGEM： deep embedding method for dynamic graphs［EB/OL］. ［2021-03-06］..
9	GOYAL P， CHHETRI S R， CANEDO A. dyngraph2vec： capturing network dynamics using dynamic graph representation learning［J］. Knowledge-Based Systems， 2020， 187： No.104816. 10.1016/j.knosys.2019.06.024
10	SANKAR A， WU Y H， GOU L， et al. DySAT： deep neural representation learning on dynamic graphs via self-attention networks［C］// Proceedings of the 13th International Conference on Web Search and Data Mining. New York： ACM， 2020： 519-527. 10.1145/3336191.3371845
11	BELKIN M， NIYOGI P. Laplacian eigenmaps and spectral techniques for embedding and clustering［C］// Proceedings of the 14th International Conference on Neural Information Processing Systems： Natural and Synthetic. Cambridge： MIT Press， 2001： 585-591. 10.7551/mitpress/1120.003.0080
12	CAO S S， LU W， XU Q K. GraRep： learning graph representations with global structural information［C］// Proceedings of the 24th ACM International Conference on Information and Knowledge Management. New York： ACM， 2015： 891-900. 10.1145/2806416.2806512
13	OU M D， CUI P， PEI J， et al. Asymmetric transitivity preserving graph embedding［C］// Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2016： 1105-1114. 10.1145/2939672.2939751
14	WANG D X， CUI P， ZHU W W. Structural deep network embedding［C］// Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2016： 1225-1234. 10.1145/2939672.2939753
15	CAO S S， LU W， XU Q K. Deep neural networks for learning graph representations［C］// Proceedings of the 30th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2016： 1145-1152.
16	OLAH C. Understanding LSTM networks［EB/OL］. （2015-08-27）［2021-03-06］.， 2015.
17	KINGMA D P， WELLING M. Auto-encoding variational Bayes［EB/OL］. （2014-05-01）［2021-03-06］.. 10.1561/9781680836233
18	YANG Y M， WU Q M J， WANG Y N. Autoencoder with invertible functions for dimension reduction and image reconstruction［J］. IEEE Transactions on Systems， Man， and Cybernetics： Systems， 2018， 48（7）： 1065-1079. 10.1109/tsmc.2016.2637279
19	LIM K L， JIANG X D， YI C Y. Deep clustering with variational autoencoder［J］. IEEE Signal Processing Letters， 2020， 27： 231-235. 10.1109/lsp.2020.2965328
20	BAHDANAU D， CHO K， BENGIO Y. Neural machine translation by jointly learning to align and translate［EB/OL］. （2016-05-19）［2021-03-06］.. 10.3115/v1/w14-4009
21	CHO K， MERRIËNBOER B VAN， GU̇LÇEHRE Ç， et al. Learning phrase representations using RNN encoder-decoder for statistical machine translation［C］// Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2014： 1724-1734. 10.3115/v1/d14-1179
22	ZAREMBA W， SUTSKEVER I， VINYALS O. Recurrent neural network regularization［EB/OL］. （2015-02-19）［2021-03-06］.. 10.3115/v1/p15-1002
23	TRIVEDI R， DAI H J， WANG Y C， et al. Know-evolve： deep temporal reasoning for dynamic knowledge graphs［C］// Proceedings of the 34th International Conference on Machine Learning. New York： JMLR.org， 2017： 3462-3471.
24	PANZARASA P， OPSAHL T， CARLEY K M. Patterns and dynamics of users’ behavior and interaction： network analysis of an online community［J］. Journal of the American Society for Information Science and Technology， 2009， 60（5）： 911-932. 10.1002/asi.21015
25	Inc Yelp. Yelp dataset［DS/OL］. ［2021-02-17］. .
26	HARPER F M， KONSTAN J A. The MovieLens datasets： history and context［J］. ACM Transactions on Interactive Intelligent Systems， 2016， 5（4）： No.19. 10.1145/2827872
27	HAMILTON W L， YING R， LESKOVEC J. Inductive representation learning on large graphs［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 1025-1035. 10.1145/3219819.3219890
28	VELIČKOVIĆ P， CUCURULL G， CASANOVA A， et al. Graph attention networks［EB/OL］. （2018-02-04）［2021-02-17］..
29	KINGMA D P， BA J L. Adam： a method for stochastic optimization［EB/OL］. （2017-01-30）［2021-02-17］..

数据集	节点数	边数	时间步长
Email-uci	1 809	16 822	13
Yelp	6 569	95 361	12
ML-10M	20 537	43 760	13

数据集	节点数	边数	时间步长
Email-uci	1 809	16 822	13
Yelp	6 569	95 361	12
ML-10M	20 537	43 760	13

算法	Email-uci		Yelp		ML-10M
算法	Micro-AUC	Macro-AUC	Micro-AUC	Macro-AUC	Micro-AUC	Macro-AUC
node2vec	79.99	80.49	67.86	65.34	87.74	87.52
GraphSage	79.15	82.89	60.95	58.56	86.19	89.92
GraphSage-GAT	74.03	79.83	66.15	65.09	83.97	84.93
GAT-AE	79.98	81.86	65.92	65.37	87.01	86.75
DynamicTriad	77.59	80.28	63.53	62.69	88.71	88.43
DynGEM	77.49	79.82	66.02	65.94	73.69	85.96
DynAERNN	79.95	83.52	69.54	68.91	87.73	89.47
DySAT	81.03	85.81	70.15	69.87	90.82	93.68
DynAEGRU	86.34	88.36	72.19	74.92	91.71	92.70

算法	Email-uci		Yelp		ML-10M
算法	Micro-AUC	Macro-AUC	Micro-AUC	Macro-AUC	Micro-AUC	Macro-AUC
node2vec	79.99	80.49	67.86	65.34	87.74	87.52
GraphSage	79.15	82.89	60.95	58.56	86.19	89.92
GraphSage-GAT	74.03	79.83	66.15	65.09	83.97	84.93
GAT-AE	79.98	81.86	65.92	65.37	87.01	86.75
DynamicTriad	77.59	80.28	63.53	62.69	88.71	88.43
DynGEM	77.49	79.82	66.02	65.94	73.69	85.96
DynAERNN	79.95	83.52	69.54	68.91	87.73	89.47
DySAT	81.03	85.81	70.15	69.87	90.82	93.68
DynAEGRU	86.34	88.36	72.19	74.92	91.71	92.70

[1]	刘子辰, 李小娟, 韦伟. 基于循环神经网络的专利价格自动评估[J]. 计算机应用, 2021, 41(9): 2532-2538.
[2]	蔡彪, 李蕊岑, 吴媛媛. 相似性特征对链路预测的影响与增强[J]. 计算机应用, 2021, 41(9): 2569-2577.
[3]	王曙燕, 侯则昱, 孙家泽. 面向深度学习的对抗样本差异性检测方法[J]. 计算机应用, 2021, 41(7): 1849-1856.
[4]	张元钧, 张曦煌. 基于图卷积与长短期记忆网络的动态网络表示学习模型[J]. 计算机应用, 2021, 41(7): 1857-1864.
[5]	张明明, 卢庆宁, 李文中, 宋浒. 基于联合动态剪枝的深度神经网络压缩算法[J]. 计算机应用, 2021, 41(6): 1589-1596.
[6]	张全龙, 王怀彬. 基于膨胀卷积和门控循环单元组合的入侵检测模型[J]. 计算机应用, 2021, 41(5): 1372-1377.
[7]	赖雪梅, 唐宏, 陈虹羽, 李珊珊. 基于注意力机制的特征融合-双向门控循环单元多模态情感分析[J]. 计算机应用, 2021, 41(5): 1268-1274.
[8]	张文烨, 尚方信, 郭浩. 基于Octave卷积的混合精度神经网络量化方法[J]. 计算机应用, 2021, 41(5): 1299-1304.
[9]	孙鹤立, 孙玉柱, 张晓云. 基于生成对抗网络的事件描述生成[J]. 计算机应用, 2021, 41(5): 1256-1261.
[10]	樊玮, 王慧敏, 邢艳. 基于自编码器的多视图属性网络表示学习模型[J]. 计算机应用, 2021, 41(4): 1064-1070.
[11]	杨丽, 王时绘, 朱博. 基于动态和静态偏好的兴趣点推荐算法[J]. 计算机应用, 2021, 41(2): 398-406.
[12]	温超东, 曾诚, 任俊伟, 张. 结合ALBERT和双向门控循环单元的专利文本分类[J]. 计算机应用, 2021, 41(2): 407-412.
[13]	成科扬, 孟春运, 王文杉, 师文喜, 詹永照. 解耦表征学习研究进展[J]. 《计算机应用》唯一官方网站, 2021, 41(12): 3409-3418.
[14]	刘太亨, 何昭水. 基于自编码和知识蒸馏的表面缺陷检测方法[J]. 《计算机应用》唯一官方网站, 2021, 41(11): 3200-3205.
[15]	黄晓祥, 胡咏梅, 吴丹, 任力杰. 基于变分自编码器的异常颈动脉早期识别和预测[J]. 计算机应用, 2021, 41(10): 3082-3088.

基于深度神经网络和门控循环单元的动态图表示学习方法

Dynamic graph representation learning method based on deep neural network and gated recurrent unit

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 6

参考文献 29

相关文章 15

编辑推荐

Metrics