基于深度神经网络和门控循环单元的动态图表示学习方法

doi:10.11772/j.issn.1001-9081.2021060994

《计算机应用》唯一官方网站 ›› 2021, Vol. 41 ›› Issue (12): 3432-3437.DOI: 10.11772/j.issn.1001-9081.2021060994

所属专题：第十八届中国机器学习会议(CCML 2021)

• 第十八届中国机器学习会议(CCML 2021) • 上一篇下一篇

基于深度神经网络和门控循环单元的动态图表示学习方法

李慧博¹^,², 赵云霄¹^,², 白亮¹^,²()

^1.计算机智能与中文信息处理教育部重点实验室（山西大学），太原 030006
^2.山西大学计算机与信息技术学院，太原 030006

收稿日期:2021-05-12 修回日期:2021-06-28 接受日期:2021-07-26 发布日期:2021-12-28 出版日期:2021-12-10
通讯作者: 白亮
作者简介:李慧博（1997—），男，山西长治人，硕士研究生，主要研究方向：图表示学习
赵云霄（1988—），男，山西方山人，博士研究生，CCF会员，主要研究方向：聚类、半监督、弱监督；
基金资助:
国家自然科学基金资助项目(62022052);国家重点研发计划项目(2020AAA0106100);山西省基础研究计划项目(201901D211192)

Dynamic graph representation learning method based on deep neural network and gated recurrent unit

Huibo LI¹^,², Yunxiao ZHAO¹^,², Liang BAI¹^,²()

^1.Key Laboratory of Computational Intelligence and Chinese Information Processing of Ministry of Education，Taiyuan Shanxi 030006，China
^2.School of Computer and Information Technology，Shanxi University，Taiyuan Shanxi 030006，China

Received:2021-05-12 Revised:2021-06-28 Accepted:2021-07-26 Online:2021-12-28 Published:2021-12-10
Contact: Liang BAI
About author:LI Huibo， born in 1997， M. S. candidate. His research interests include graph representation learning.
ZHAO Yunxiao， born in 1988， Ph. D. candidate. His research interests include clustering， semi-supervision， weak supervision.
Supported by:
the National Natural Science Foundation of China(62022052);the National Key Research and Development Program of China(2020AAA0106100);the Shanxi Basic Research Program(201901D211192)

摘要/Abstract

摘要：

学习图中节点的潜在向量表示是一项重要且普遍存在的任务，旨在捕捉图中节点的各种属性。大量工作证明静态图表示已经能够学习到节点的部分信息，然而，真实世界的图是随着时间的推移而演变的。为了解决多数动态网络算法不能有效保留节点邻域结构和时态信息的问题，提出了基于深度神经网络（DNN）和门控循环单元（GRU）的动态网络表示学习方法DynAEGRU。该方法以自编码器作为框架，其中的编码器首先用DNN聚集邻域信息以得到低维特征向量，然后使用GRU网络提取节点时态信息，最后用解码器重构邻接矩阵并将其与真实图对比来构建损失。通过与几种静态图和动态图表示学习算法在3个数据集上进行实验分析，结果表明DynAEGRU具有较好的性能增益。

关键词: 动态网络表示学习, 深度神经网络, 自编码器, 门控循环单元, 链路预测

Abstract:

Learning the latent vector representations of nodes in the graph is an important and ubiquitous task， which aims to capture various attributes of the nodes in the graph. A lot of work demonstrates that static graph representation learning can learn part of the node information； however， real-world graphs evolve over time. In order to solve the problem that most dynamic network algorithms cannot effectively retain node neighborhood structure and temporal information， a dynamic network representation learning method based on Deep Neural Network （DNN） and Gated Recurrent Unit （GRU）， namely DynAEGRU， was proposed. With Auto-Encoder （AE） as the framework of the DynAEGRU， the neighborhood information was aggregated by encoder with a DNN to obtain low-dimensional feature vectors， then the node temporal information was extracted by a GRU network，finally， the adjacency matrix was reconstructed by the decoder and compared with the real graph to construct the loss. Experimental results on three real-word datasets show that DynAEGRU method has better performance gain compared to several static and dynamic graph representation learning algorithms.

Key words: dynamic network representation learning, Deep Neural Network (DNN), Auto-Encoder (AE), Gated Recurrent Unit (GRU), link prediction

中图分类号:

TP183

李慧博, 赵云霄, 白亮. 基于深度神经网络和门控循环单元的动态图表示学习方法[J]. 计算机应用, 2021, 41(12): 3432-3437.

Huibo LI, Yunxiao ZHAO, Liang BAI. Dynamic graph representation learning method based on deep neural network and gated recurrent unit[J]. Journal of Computer Applications, 2021, 41(12): 3432-3437.

图/表 6

参考文献 29

1	WASSERMAN S， FAUST K. Social network analysis： methods and applications［J］. Proceedings of the Institute for System Programming of RAS， 1994， 26（1）：439-456. 10.1017/cbo9780511815478
2	GEHRKE J， GINSPARG P， KLEINBERG J. Overview of the 2003 KDD Cup［J］. ACM SIGKDD Explorations Newsletter， 2003， 5（2）： 149-151. 10.1145/980972.980992
3	PAVLOPOULOS G A， WEGENER A L， SCHNEIDER R. A survey of visualization tools for biological network analysis［J］. BioData Mining， 2008， 1： No.12. 10.1186/1756-0381-1-12
4	TANG J， QU M， WANG M Z， et al. LINE： large-scale information network embedding［C］// Proceedings of the 24th International Conference on World Wide Web. Republic and Canton of Geneva： International World Wide Web Conferences Steering Committee， 2015： 1067-1077. 10.1145/2736277.2741093
5	PEROZZI B， AL-RFOU R， SKIENA S. DeepWalk： online learning of social representations［C］// Proceedings of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2014： 701-710. 10.1145/2623330.2623732
6	GROVER A， LESKOVEC J. node2vec： Scalable feature learning for networks［C］// Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2016： 855-864. 10.1145/2939672.2939754
7	ZHOU L K， YANG Y， REN X， et al. Dynamic network embedding by modeling triadic closure process［C］// Proceedings of the 32nd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2018： 571-578.
8	GOYAL P， KAMRA N， HE X R， et al. DynGEM： deep embedding method for dynamic graphs［EB/OL］. ［2021-03-06］..
9	GOYAL P， CHHETRI S R， CANEDO A. dyngraph2vec： capturing network dynamics using dynamic graph representation learning［J］. Knowledge-Based Systems， 2020， 187： No.104816. 10.1016/j.knosys.2019.06.024
10	SANKAR A， WU Y H， GOU L， et al. DySAT： deep neural representation learning on dynamic graphs via self-attention networks［C］// Proceedings of the 13th International Conference on Web Search and Data Mining. New York： ACM， 2020： 519-527. 10.1145/3336191.3371845
11	BELKIN M， NIYOGI P. Laplacian eigenmaps and spectral techniques for embedding and clustering［C］// Proceedings of the 14th International Conference on Neural Information Processing Systems： Natural and Synthetic. Cambridge： MIT Press， 2001： 585-591. 10.7551/mitpress/1120.003.0080
12	CAO S S， LU W， XU Q K. GraRep： learning graph representations with global structural information［C］// Proceedings of the 24th ACM International Conference on Information and Knowledge Management. New York： ACM， 2015： 891-900. 10.1145/2806416.2806512
13	OU M D， CUI P， PEI J， et al. Asymmetric transitivity preserving graph embedding［C］// Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2016： 1105-1114. 10.1145/2939672.2939751
14	WANG D X， CUI P， ZHU W W. Structural deep network embedding［C］// Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2016： 1225-1234. 10.1145/2939672.2939753
15	CAO S S， LU W， XU Q K. Deep neural networks for learning graph representations［C］// Proceedings of the 30th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2016： 1145-1152.
16	OLAH C. Understanding LSTM networks［EB/OL］. （2015-08-27）［2021-03-06］.， 2015.
17	KINGMA D P， WELLING M. Auto-encoding variational Bayes［EB/OL］. （2014-05-01）［2021-03-06］.. 10.1561/9781680836233
18	YANG Y M， WU Q M J， WANG Y N. Autoencoder with invertible functions for dimension reduction and image reconstruction［J］. IEEE Transactions on Systems， Man， and Cybernetics： Systems， 2018， 48（7）： 1065-1079. 10.1109/tsmc.2016.2637279
19	LIM K L， JIANG X D， YI C Y. Deep clustering with variational autoencoder［J］. IEEE Signal Processing Letters， 2020， 27： 231-235. 10.1109/lsp.2020.2965328
20	BAHDANAU D， CHO K， BENGIO Y. Neural machine translation by jointly learning to align and translate［EB/OL］. （2016-05-19）［2021-03-06］.. 10.3115/v1/w14-4009
21	CHO K， MERRIËNBOER B VAN， GU̇LÇEHRE Ç， et al. Learning phrase representations using RNN encoder-decoder for statistical machine translation［C］// Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2014： 1724-1734. 10.3115/v1/d14-1179
22	ZAREMBA W， SUTSKEVER I， VINYALS O. Recurrent neural network regularization［EB/OL］. （2015-02-19）［2021-03-06］.. 10.3115/v1/p15-1002
23	TRIVEDI R， DAI H J， WANG Y C， et al. Know-evolve： deep temporal reasoning for dynamic knowledge graphs［C］// Proceedings of the 34th International Conference on Machine Learning. New York： JMLR.org， 2017： 3462-3471.
24	PANZARASA P， OPSAHL T， CARLEY K M. Patterns and dynamics of users’ behavior and interaction： network analysis of an online community［J］. Journal of the American Society for Information Science and Technology， 2009， 60（5）： 911-932. 10.1002/asi.21015
25	Inc Yelp. Yelp dataset［DS/OL］. ［2021-02-17］. .
26	HARPER F M， KONSTAN J A. The MovieLens datasets： history and context［J］. ACM Transactions on Interactive Intelligent Systems， 2016， 5（4）： No.19. 10.1145/2827872
27	HAMILTON W L， YING R， LESKOVEC J. Inductive representation learning on large graphs［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 1025-1035. 10.1145/3219819.3219890
28	VELIČKOVIĆ P， CUCURULL G， CASANOVA A， et al. Graph attention networks［EB/OL］. （2018-02-04）［2021-02-17］..
29	KINGMA D P， BA J L. Adam： a method for stochastic optimization［EB/OL］. （2017-01-30）［2021-02-17］..

数据集	节点数	边数	时间步长
Email-uci	1 809	16 822	13
Yelp	6 569	95 361	12
ML-10M	20 537	43 760	13

数据集	节点数	边数	时间步长
Email-uci	1 809	16 822	13
Yelp	6 569	95 361	12
ML-10M	20 537	43 760	13

算法	Email-uci		Yelp		ML-10M
算法	Micro-AUC	Macro-AUC	Micro-AUC	Macro-AUC	Micro-AUC	Macro-AUC
node2vec	79.99	80.49	67.86	65.34	87.74	87.52
GraphSage	79.15	82.89	60.95	58.56	86.19	89.92
GraphSage-GAT	74.03	79.83	66.15	65.09	83.97	84.93
GAT-AE	79.98	81.86	65.92	65.37	87.01	86.75
DynamicTriad	77.59	80.28	63.53	62.69	88.71	88.43
DynGEM	77.49	79.82	66.02	65.94	73.69	85.96
DynAERNN	79.95	83.52	69.54	68.91	87.73	89.47
DySAT	81.03	85.81	70.15	69.87	90.82	93.68
DynAEGRU	86.34	88.36	72.19	74.92	91.71	92.70

算法	Email-uci		Yelp		ML-10M
算法	Micro-AUC	Macro-AUC	Micro-AUC	Macro-AUC	Micro-AUC	Macro-AUC
node2vec	79.99	80.49	67.86	65.34	87.74	87.52
GraphSage	79.15	82.89	60.95	58.56	86.19	89.92
GraphSage-GAT	74.03	79.83	66.15	65.09	83.97	84.93
GAT-AE	79.98	81.86	65.92	65.37	87.01	86.75
DynamicTriad	77.59	80.28	63.53	62.69	88.71	88.43
DynGEM	77.49	79.82	66.02	65.94	73.69	85.96
DynAERNN	79.95	83.52	69.54	68.91	87.73	89.47
DySAT	81.03	85.81	70.15	69.87	90.82	93.68
DynAEGRU	86.34	88.36	72.19	74.92	91.71	92.70

[1]	薛桂香, 王辉, 周卫峰, 刘瑜, 李岩. 基于知识图谱和时空扩散图卷积网络的港口交通流量预测[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2952-2957.
[2]	陈虹, 齐兵, 金海波, 武聪, 张立昂. 融合1D-CNN与BiGRU的类不平衡流量异常检测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2493-2499.
[3]	石锐, 李勇, 朱延晗. 基于特征梯度均值化的调制信号对抗样本攻击算法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2521-2527.
[4]	邓凯丽, 魏伟波, 潘振宽. 改进掩码自编码器的工业缺陷检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2595-2603.
[5]	王美, 苏雪松, 刘佳, 殷若南, 黄珊. 时频域多尺度交叉注意力融合的时间序列分类方法[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1842-1847.
[6]	孙敏, 成倩, 丁希宁. 基于CBAM-CGRU-SVM的Android恶意软件检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1539-1545.
[7]	李宗禹, 强思维, 郭晓波, 朱振峰. 重加权的对抗变分自编码器及其在工业因果效应估计中的应用[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1099-1106.
[8]	肖斌, 杨模, 汪敏, 秦光源, 李欢. 独立性视角下的相频融合领域泛化方法[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1002-1009.
[9]	颜梦玫, 杨冬平. 深度神经网络平均场理论综述[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 331-343.
[10]	张卓, 陈花竹. 基于一致性和多样性的多尺度自表示学习的深度子空间聚类[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 353-359.
[11]	蒋辉, 闫秋艳, 姜竹郡. 面向多元时间序列异常检测的对称正定自编码器方法[J]. 《计算机应用》唯一官方网站, 2024, 44(10): 3294-3299.
[12]	柴汶泽, 范菁, 孙书魁, 梁一鸣, 刘竟锋. 深度度量学习综述[J]. 《计算机应用》唯一官方网站, 2024, 44(10): 2995-3010.
[13]	徐丽, 符祥远, 李浩然. 基于门控卷积的时空交通流预测模型[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2760-2765.
[14]	申云飞, 申飞, 李芳, 张俊. 基于张量虚拟机的深度神经网络模型加速方法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2836-2844.
[15]	赵旭剑, 李杭霖. 基于混合机制的深度神经网络压缩算法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2686-2691.

基于深度神经网络和门控循环单元的动态图表示学习方法

Dynamic graph representation learning method based on deep neural network and gated recurrent unit

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 6

参考文献 29

相关文章 15

编辑推荐

Metrics