构建预训练动态图神经网络预测学术合作行为消失

doi:10.11772/j.issn.1001-9081.2023091325

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (9): 2726-2731.DOI: 10.11772/j.issn.1001-9081.2023091325

构建预训练动态图神经网络预测学术合作行为消失

杜郁, 朱焱()

西南交通大学计算机与人工智能学院，成都 611756

收稿日期:2023-09-27 修回日期:2023-12-11 接受日期:2023-12-12 发布日期:2023-12-22 出版日期:2024-09-10
通讯作者: 朱焱
作者简介:杜郁（1999—），女，四川雅安人，硕士研究生，主要研究方向：网络分析、学术网络合作行为消失预测
朱焱（1965—），女，广西桂林人，教授，博士，CCF会员，主要研究方向：社交网络计算、大数据、数据挖掘。
基金资助:
四川省科技计划项目(2019YFSY0032)

Constructing pre-trained dynamic graph neural network to predict disappearance of academic cooperation behavior

Yu DU, Yan ZHU()

School of Computing and Artificial Intelligence，Southwest Jiaotong University，Chengdu Sichuan 611756，China

Received:2023-09-27 Revised:2023-12-11 Accepted:2023-12-12 Online:2023-12-22 Published:2024-09-10
Contact: Yan ZHU
About author:DU Yu， born in 1999， M. S. candidate. Her research interests include network analysis， academic network cooperative behavior disappearance prediction.
Supported by:
Science and Technology Program of Sichuan Province(2019YFSY0032)

摘要/Abstract

摘要：

现有链接消失问题研究工作一部分只停留在发现和分析链接消失的原因上，一部分仅使用静态网络表示进行预测，很少从网络动态演化的角度分析链接消失预测问题。针对以上研究现状，提出一种预训练动态图神经网络学术合作行为消失预测模型PreDGN（Pre-trained Dynamic Graph neural Network）。PreDGN首先通过动态图生成预训练任务捕捉动态网络的时间信息，同时利用时序模体构造的边特征补充网络的拓扑信息；其次，结合基于时间编码的注意力节点嵌入，能够更精准地学习节点的表征。经过预训练的模型学习了动态图的历史信息，而且可以在特定的学术合作行为消失预测任务中进行微调。使用公开学术合作数据集HepTh中不同时间跨度、不同数据规模数据进行实验的结果表明，在1996、1997、94—96和97—99子数据集上，相较于次优的动态图神经网络方法（DyRep），所提模型的曲线下面积（AUC）指标分别提高了10.47、8.16、13.41和3.27个百分点，平均精度（AP）指标分别提高了5.87、2.15、8.26和3.01个百分点。

关键词: 动态图, 预训练, 图表示学习, 图神经网络, 网络模体

Abstract:

Some of the existing research on link disappearance only focuses on discovering and analyzing the reasons for link disappearance， while some research only uses static network representations for prediction， rarely analyzing link disappearance problem from the perspective of network dynamic evolution. In response to the above research status， a pre-trained dynamic graph neural network based academic cooperative behavior disappearance prediction model PreDGN （Pre-trained Dynamic Graph neural Network） was proposed. In PreDGN， firstly， the temporal information of the dynamic network was captured by using the dynamic graph to generate pre-training tasks， and the topological information of the network was supplemented with edge features constructed by temporal motifs. Then， combined with attention node embedding based on time encoding， node representations were learnt more accurately. The historical information of the dynamic graph was learnt by the pre-trained model and the model was able to be fine-tuned in specific tasks for predicting the disappearance of academic cooperation behaviors. Experiments were conducted on data from the publicly available academic cooperation dataset HepTh with different time spans and data scales. On the 1996， 1997， 94—96， and 97—99 subsets， compared to the second best method： dynamic graph neural network DyRep， the proposed model has the Area Under the ROC Curve （AUC） increased by 10.47， 8.16， 13.41， and 3.27 percentage points， respectively， and the Average Precision （AP） improved by 5.87， 2.15， 8.26， and 3.01 percentage points， respectively.

Key words: dynamic graph, pre-training, graph representation learning, graph neural network, network motif

中图分类号:

TP183

杜郁, 朱焱. 构建预训练动态图神经网络预测学术合作行为消失[J]. 计算机应用, 2024, 44(9): 2726-2731.

Yu DU, Yan ZHU. Constructing pre-trained dynamic graph neural network to predict disappearance of academic cooperation behavior[J]. Journal of Computer Applications, 2024, 44(9): 2726-2731.

图/表 13

参考文献 17

1	XU B， LI L， LIU J， et al. Disappearing link prediction in scientific collaboration networks ［J］. IEEE Access， 2018， 6：69702-69712.
2	LI L， WANG W， YU S， et al. A modified node2vec method for disappearing link prediction ［C］// Proceedings of the IEEE 15th International Conference on Dependable， Autonomic and Secure Computing， 15th International Conference on Pervasive Intelligence and Computing， 3rd International Conference on Big Data Intelligence and Computing and Cyber Science and Technology Congress. Piscataway： IEEE， 2017： 1232-1235.
3	MURO C， LI B， HE K. Link prediction and unlink prediction on dynamic networks ［J］. IEEE Transactions on Computational Social Systems， 2023， 10（2）：590-601.
4	TRIVEDI R， FARAJTABAR M， BISWAL P， et al. DyRep： learning representations over dynamic graphs［EB/OL］. ［2022-10-03］. .
5	KUMAR S， ZHANG X， LESKOVEC J. Predicting dynamic embedding trajectory in temporal interaction networks ［C］// Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2019 ：1269-1278.
6	KAZEMI S M， GOEL R， JAIN K， et al. Representation learning for dynamic graphs： a survey ［J］. Journal of Machine Learning Research， 2020， 21：1-73.
7	QIU J， CHEN Q， DONG Y， et al. GCC： graph contrastive coding for graph neural network pre-training ［C］// Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2020： 1150-1160.
8	HU Z， DONG Y， WANG K， et al. GPT-GNN： generative pre-training of graph neural networks ［C］// Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2020：1857-1867.
9	HAO B， ZHANG J， YIN H， et al. Pre-training graph neural networks for cold-start users and items representation ［C］// Proceedings of the 14th ACM International Conference on Web Search and Data Mining. New York： ACM， 2021： 265-273.
10	HUANG H， FANG Z， WANG X， et al. Motif-preserving temporal network embedding ［C］// Proceedings of the 29th International Joint Conferences on Artificial Intelligence. California： IJCAI.org， 2020：1237-1243.
11	LIU Z， HUANG C， YU Y， et al. Motif-preserving dynamic attributed network embedding ［C］// Proceedings of the Web Conference 2021. Republic and Canton of Geneva： International World Wide Web Conferences Steering Committee， 2021：1629-1638.
12	BOURITSAS G， FRASCA F， ZAFEIRIOU S， et al. Improving graph neural network expressivity via subgraph isomorphism counting ［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2022， 45（1）： 657-668.
13	XU D， RUAN C， KUMAR S， et al. Self-attention with functional time representation learning ［C］// Proceedings of the 33rd International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2019： 15915-15925.
14	PEROZZI B， Al-RFOU R， SKIENA S. DeepWalk： online learning of social representations ［C］// Proceedings of the 20th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2014： 701-710.
15	NGUYEN G H， LEE J B， ROSSI R A， et al. Continuous-time dynamic network embeddings ［C］// Companion of the Web Conference 2018. Republic and Canton of Geneva： International World Wide Web Conferences Steering Committee， 2018： 969-976.
16	ZOU Y， LIU G， LIN H， et al. Embedding temporal network via neighborhood formation ［C］// Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2018：2857-2866.
17	LU Y， WANG X， SHI C， et al. Temporal network embedding with micro-and macro-dynamics ［C］// Proceedings of the 28th ACM International Conference on Information and Knowledge Management. New York： ACM， 2019：469-478.

子数据集	作者数	合作关系数
1996	1 495	35 233
1997	2 238	79 027
94—96	2 293	50 943
97—99	5 713	239 541

子数据集	作者数	合作关系数
1996	1 495	35 233
1997	2 238	79 027
94—96	2 293	50 943
97—99	5 713	239 541

模型	HepTh（1996）		HepTh（1997）
模型	AUC	AP	AUC	AP
DeepWalk	56.40	76.69	53.30	86.70
CTDNE	56.95	72.30	53.76	86.35
HTNE	56.99	76.79	55.85	85.87
MMDNE	55.71	75.99	55.21	85.94
MTNE	54.00	75.98	56.37	87.98
Jodie	62.89	78.81	61.72	89.99
DyRep	65.02	80.89	59.38	89.78
PreDGN	75.49	86.76	67.54	91.93

模型	HepTh（1996）		HepTh（1997）
模型	AUC	AP	AUC	AP
DeepWalk	56.40	76.69	53.30	86.70
CTDNE	56.95	72.30	53.76	86.35
HTNE	56.99	76.79	55.85	85.87
MMDNE	55.71	75.99	55.21	85.94
MTNE	54.00	75.98	56.37	87.98
Jodie	62.89	78.81	61.72	89.99
DyRep	65.02	80.89	59.38	89.78
PreDGN	75.49	86.76	67.54	91.93

模型	HepTh（94—96）		HepTh（97—99）
模型	AUC	AP	AUC	AP
DeepWalk	55.25	74.16	56.46	80.74
CTDNE	55.08	72.03	56.42	78.67
HTNE	59.02	75.76	58.40	81.19
MMDNE	53.00	69.59	56.20	80.21
MTNE	54.52	71.69	57.58	80.69
Jodie	60.68	77.59	64.96	84.78
DyRep	65.32	79.04	71.02	86.11
PreDGN	78.73	87.30	74.29	89.12

构建预训练动态图神经网络预测学术合作行为消失

Constructing pre-trained dynamic graph neural network to predict disappearance of academic cooperation behavior

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 13

参考文献 17

相关文章 15

编辑推荐

Metrics

子数据集	模型	AUC	AP
1996	PreDGN-nm	73.71	85.83
1996	PreDGN	75.49	86.76
1997	PreDGN-nm	62.05	90.13
1997	PreDGN	67.54	91.93
94—96	PreDGN-nm	75.12	84.78
94—96	PreDGN	78.73	87.30
97—99	PreDGN-nm	72.91	87.51
97—99	PreDGN	74.29	89.12

预训练数据占比	HepTh（1996）	HepTh（1997）	HepTh （94—96）	HepTh （97—99）
20	73.00	64.18	75.58	69.23
30	73.37	64.32	76.16	69.35
40	73.57	65.55	76.47	69.98
50	73.93	64.58	76.24	71.18
60	75.16	64.45	77.23	72.04
70	75.23	66.60	77.51	72.97

层数	HepTh（1996）		HepTh（94—96）
层数	AUC/%	训练时间/s	AUC/%	训练时间/s
0	55.90	142	58.81	268
1	75.49	235	78.73	374
2	75.37	420	79.36	807
3	75.46	2 281	79.34	2 946
4	75.42	5 628	79.38	7 492
5	75.39	15 312	78.99	18 904

[1]	唐廷杰, 黄佳进, 秦进. 基于图辅助学习的会话推荐[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2711-2718.
[2]	杨兴耀, 陈羽, 于炯, 张祖莲, 陈嘉颖, 王东晓. 结合自我特征和对比学习的推荐模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2704-2710.
[3]	杨航, 李汪根, 张根生, 王志格, 开新. 基于图神经网络的多层信息交互融合算法用于会话推荐[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2719-2725.
[4]	吴相岚, 肖洋, 刘梦莹, 刘明铭. 基于语义增强模式链接的Text-to-SQL模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2689-2695.
[5]	薛凯鹏, 徐涛, 廖春节. 融合自监督和多层交叉注意力的多模态情感分析网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2387-2392.
[6]	李晨阳, 张龙, 郑秋生, 钱少华. 基于扩散序列的多元可控文本生成[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2414-2420.
[7]	杨帆, 邹窈, 朱明志, 马振伟, 程大伟, 蒋昌俊. 基于图注意力Transformer神经网络的信用卡欺诈检测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2634-2642.
[8]	杨莹, 郝晓燕, 于丹, 马垚, 陈永乐. 面向图神经网络模型提取攻击的图数据生成方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2483-2492.
[9]	赵征宇, 罗景, 涂新辉. 基于多粒度语义融合的信息检索方法[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1775-1780.
[10]	林欣蕊, 王晓菲, 朱焱. 基于局部扩展社区发现的学术异常引用群体检测[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1855-1861.
[11]	黎施彬, 龚俊, 汤圣君. 基于Graph Transformer的半监督异配图表示学习模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1816-1823.
[12]	魏超, 陈艳平, 王凯, 秦永彬, 黄瑞章. 基于掩码提示与门控记忆网络校准的关系抽取方法[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1713-1719.
[13]	刘越, 刘芳, 武奥运, 柴秋月, 王天笑. 基于自注意力机制与图卷积的3D目标检测网络[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1972-1977.
[14]	汪炅, 唐韬韬, 贾彩燕. 无负采样的正样本增强图对比学习推荐方法PAGCL[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1485-1492.
[15]	郭洁, 林佳瑜, 梁祖红, 罗孝波, 孙海涛. 基于知识感知和跨层次对比学习的推荐方法[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1121-1127.