基于Transformer和关系图卷积网络的信息传播预测模型

doi:10.11772/j.issn.1001-9081.2023060884

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (6): 1760-1766.DOI: 10.11772/j.issn.1001-9081.2023060884

所属专题：人工智能

基于Transformer和关系图卷积网络的信息传播预测模型

吕锡婷(), 赵敬华, 荣海迎, 赵嘉乐

上海理工大学管理学院，上海 200093

收稿日期:2023-07-07 修回日期:2023-09-01 接受日期:2023-09-05 发布日期:2023-09-14 出版日期:2024-06-10
通讯作者: 吕锡婷
作者简介:赵敬华（1984—），女，山东冠县人，副教授，博士，主要研究方向：流行度预测、互动创新
荣海迎（1997—），女，安徽怀远人，硕士研究生，主要研究方向：互动创新
赵嘉乐（1998—），男，江苏睢宁人，硕士研究生，主要研究方向：流行度预测。
基金资助:
国家自然科学基金资助项目(72201173);上海市教育科学研究项目(C2023292);上海理工大学尚理晨曦社科专项重点项目(23SLCX?ZD?006)

Information diffusion prediction model based on Transformer and relational graph convolutional network

Xiting LYU(), Jinghua ZHAO, Haiying RONG, Jiale ZHAO

Business School，University of Shanghai for Science and Technology，Shanghai 200093，China

Received:2023-07-07 Revised:2023-09-01 Accepted:2023-09-05 Online:2023-09-14 Published:2024-06-10
Contact: Xiting LYU
About author:ZHAO Jinghua， born in 1984， Ph. D.， associate professor. Her research interests include popularity prediction， interactive innovation.
RONG Haiying， born in 1997， M. S. candidate. Her research interests include interactive innovation.
ZHAO Jiale， born in 1998， M. S. candidate. His research interests include popularity prediction.
Supported by:
National Natural Science Foundation of China(72201173);Shanghai Educational Science Research Project(C2023292);Key Project of Shanghai University of Technology Shangli Chenxi Social Science Special Project(23SLCX?ZD?006)

摘要/Abstract

摘要：

针对在信息传播动态演化中，结构特征和时序特征以及两者间的交互表达难以有效捕获的问题，提出一种基于Transformer和关系图卷积网络的信息传播预测模型（TRGCN）。首先，构建由社交关系图和传播级联图组合而成的异构图，使用关系图卷积网络（RGCN）提取图中各节点的结构特征；其次，使用双向长短期记忆（Bi-LSTM）网络对各节点的时间嵌入重新编码，引入时间衰减项以不同的权重赋予不同时间位置的节点，获得节点的时序特征；最后，将结构特征和时序特征输入Transformer进行融合，得到时空特征以预测信息传播。在Twitter、Douban和Memetracker这3个真实数据集上的实验结果表明，相较于对比实验中的最优模型，TRGCN的Hits@100指标分别提升3.18%，5.96%和3.34%，Map@100指标分别提升11.60%，19.72%和8.47%，验证了所提模型的有效性和合理性。

关键词: 信息传播预测, Transformer, 关系图卷积网络, 双向长短期记忆网络, 时空特征

Abstract:

Aiming at the problem that in the dynamic evolution of information diffusion， it is difficult to effectively capture structural features， temporal features， and the interactive expression between them， an information diffusion prediction model based on Transformer and Relational Graph Convolutional Network （TRGCN） was proposed. Firstly， a dynamic heterogeneous graph composed of the social network graph and the diffusion cascade graph was constructed. The structural features of each node in this graph were then extracted using Relational Graph Convolutional Network （RGCN）. Secondly， the time embedding of each node was re-encoded using Bi-directional Long Short-Term Memory （Bi-LSTM） network. Then a time decay term was introduced to give different weights to the nodes at different time positions， so as to obtain the temporal features of nodes. Finally， structural features and temporal features were input into Transformer and then merged. Finally， the spatial-temporal features were obtained for information diffusion prediction. The experimental results on three real datasets of Twitter， Douban and Memetracker show that compared with the optimal model in the comparison experiment， the Hits@100 of TRGCN increase by 3.18%， 5.96% and 3.34% respectively， the Map@100 of TRGCN increase by 11.60%， 19.72% and 8.47% respectively， proving its validity and rationality.

Key words: information diffusion prediction, Transformer, Relational Graph Convolutional Network (RGCN), Bi-directional Long Short-Term Memory (Bi-LSTM) network, spatial-temporal feature

中图分类号:

TP399

吕锡婷, 赵敬华, 荣海迎, 赵嘉乐. 基于Transformer和关系图卷积网络的信息传播预测模型[J]. 计算机应用, 2024, 44(6): 1760-1766.

Xiting LYU, Jinghua ZHAO, Haiying RONG, Jiale ZHAO. Information diffusion prediction model based on Transformer and relational graph convolutional network[J]. Journal of Computer Applications, 2024, 44(6): 1760-1766.

图/表 11

参考文献 24

1	YANG Y， TANG J， LEUNG C W， et al. RAIN： social role-aware information diffusion［C］// Proceedings of the 29th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2015： 367-373．
2	SUN L， RAO Y， ZHANG X， et al. MS-HGAT： memory enhanced sequential hypergraph attention network for information diffusion prediction ［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2022， 36（4）： 4156-4164.
3	GAO X， CAO Z， LI S， et al. Taxonomy and evaluation for microblog popularity prediction［J］. ACM Transactions on Knowledge Discovery from Data， 2019， 13（2）： No.15.
4	任敏捷，靳国庆，王晓雯，等. 基于XGBoost的微博流行度预测算法［J］.数据采集与处理，2022，37（2）：383-395.
	REN M J， JIN G Q， WANG X W， et al. Microblog popularity prediction algorithm based on XGBoost ［J］. Journal of Data Acquisition and Processing， 2022， 37（2）： 383-395.
5	陈稳，陈伟.基于计量指标多变量LSTM模型的新兴主题热度预测研究［J］.数据分析与知识发现，2022，6（10）：35-45.
	CHEN W， CHEN W. Predicting popularity of emerging topics with multivariable LSTM and bibliometric indicators ［J］. Data Analysis and Knowledge Discovery， 2022， 6（10）： 35-45.
6	张凤荔，王雪婷，王瑞锦，等. 融合动态图表示和自注意力机制的级联预测模型［J］. 电子科技大学学报， 2022， 51（1）： 83-90.
	ZHANG F L， WANG X T， WANG R J， et al. Cascade prediction model based on dynamic graph representation and self-attention ［J］. Journal of University of Electronic Science and Technology of China， 2022， 51（1）： 83-90.
7	SHEN H W， WANG D S， SONG C M， et al. Modeling and predicting popularity dynamics via reinforced poisson processes ［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2014， 28（1）： 291-297.
8	CAO Q， SHEN H， GAO H， et al. Predicting the popularity of online content with groupspecific models ［C］// Proceedings of the 26th Conference on World Wide Web. Republic and Canton of Geneva， Switzerland： International World Wide Web Conferences Steering Committee， 2017： 765-766.
9	MISHRA S， M-A RIZOIU， XIE L. Feature driven and point process approaches for popularity prediction ［C］// Proceedings of the 25th ACM International Conference on Information and Knowledge Management. New York： ACM， 2016： 1069-1078.
10	鲍鹏，徐昊. 基于图注意力时空神经网络的在线内容流行度预测［J］. 模式识别与人工智能， 2019， 32（11）： 1014-1021.
	BAO P， XU H. Predicting popularity of online contents via graph attention based spatial-temporal neural network［J］. Pattern Recognition and Artificial Intelligence， 2019， 32（11）： 1014-1021.
11	许阅，刘光杰. 基于注意力机制的Bi-GRU内容流行度预测算法［J］.电子测量技术， 2022， 45（3）： 54-60.
	XU Y， LIU G J. Bi-GRU content popularity prediction algorithm based on attention mechanism［J］. Electronic Measurement Technology， 2022， 45（3）： 54-60.
12	YUAN C， LI J， ZHOU W， et al. DyHGCN： a dynamic heterogeneous graph convolutional network to learn users’ dynamic preferences for information diffusion prediction ［C］// Proceedings of the 2020 Joint European Conference on Machine Learning and Principles and Practice of Knowledge Discovery in Database. Cham： Springer， 2020： 347-363.
13	梁少斌，陈志豪，魏晶晶，等. 基于级联时空特征的信息传播预测方法［J］. 模式识别与人工智能， 2021， 34（11）： 969-978.
	LIANG S B， CHEN Z H， WEI J J， et al. Information diffusion prediction based on cascade spatial-temporal feature ［J］. Pattern Recognition and Artificial Intelligence， 2021， 34（11）： 969-978.
14	SCHLICHTKRULL M， KIPF T N， BLOEM P， et al. Modeling relational data with graph convolutional networks ［C］// Proceedings of the 15th International Semantic Web Conference. Berlin： Springer， 2018： 593-607.
15	ISLAM M R， MUTHIAH S， ADHIKARI B，et al. DeepDiffuse： predicting the ‘who’ and ‘when’ in cascades ［C］// Proceedings of the 2018 IEEE International Conference on Data Mining. Piscataway： IEEE， 2018： 1055-1060.
16	孙加新，惠飞，张凯望，等. 基于CNN-BiLSTM-AM模型的交通流量预测［J］. 计算机技术与发展， 2023， 33（2）： 32-37，43.
	SUN J X， HUI F， ZHANG K W， et al. Traffic volume prediction based on CNN-BiLSTM-AM model ［J］. Computer Technology and Development， 2023， 33（2）： 32-37，43.
17	范伟，刘勇. 基于时空Transformer的社交网络信息传播预测［J］. 计算机研究与发展， 2022， 59（8）： 1757-1769.
	FAN W， LIU Y. Social network information diffusion prediction based on spatial-temporal Transformer ［J］. Journal of Computer Research and Development， 2022， 59（8）： 1757-1769.
18	WANG J， ZHANG V W， LIU Z，et al. Topological recurrent neural network for diffusion prediction［C］// Proceedings of the 2017 IEEE International Conference on Data Mining. Piscataway： IEEE， 2017： 475-484.
19	YANG C， SUN M， LIU H， et al. Neural diffusion model for microscopic cascade prediction ［EB/OL］. ［2023-07-02］. .
20	WANG Z， CHEN C， LI W. A sequential neural information diffusion model with structure attention［C］// Proceedings of the 27th ACM International Conference on Information and Knowledge Management. New York： ACM， 2018： 1795-1798.
21	YANG C， TANG J， SUN M， et al. Multi-scale information diffusion prediction with reinforced recurrent networks［C］// Proceedings of the 28th International Joint Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2019： 4033-4039.
22	LIU B， YANG D， SHI Y， et al. Improving information cascade modeling by social topology and dual role user dependency［C］// Proceedings of the 27th International Conference on Database Systems for Advanced Applications. Cham： Springer， 2022： 425-440.
23	CHEN X， ZHANG K， ZHOU F， et al. Information cascades modeling via deep multi-task learning ［C］// Proceedings of the 42th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2018： 885-888.
24	苗琛香，刘小洋.融合超图注意力机制与图卷积网络的信息扩散预测［J］.计算机应用研究，2023，40（6）：1715-1720.
	MIAO C X， LIU X Y. Information diffusion prediction based on hypergraph attention mechanism and graph convolution network ［J］. Application Research of Computers， 2023，40（6）：1715-1720.

参数	值	参数	值
Batch Size	16	optimizer	Adam
Learning Rate	0.001	n_layers	2
Num Epoch	50	embed_dim	64
Dropout Rate	0.3	n_heads	8

参数	值	参数	值
Batch Size	16	optimizer	Adam
Learning Rate	0.001	n_layers	2
Num Epoch	50	embed_dim	64
Dropout Rate	0.3	n_heads	8

数据集	模型	Hits@10	Hits@50	Hits@100	Map@10	Map@50	Map@100
Twitter	DeepDiffuse	4.57	8.80	13.39	3.62	3.79	3.85
	Topo-LSTM	6.51	15.48	23.68	4.31	4.67	4.79
	NDM	21.52	32.23	38.31	14.30	14.80	14.89
	SNIDSA	23.37	35.46	43.49	14.84	15.40	15.51
	FOREST	26.18	40.95	50.39	17.21	17.88	18.02
	DyHGCN	28.10	47.17	58.16	16.86	17.73	17.89
	TRGCN	30.90	49.56	60.01	19.11	19.96	20.11
Ddouban	DeepDiffuse	9.02	14.93	19.13	4.80	5.07	5.13
	Topo-LSTM	9.16	14.94	18.93	5.00	5.26	5.32
	NDM	10.31	18.87	24.02	5.54	5.93	6.00
	SNIDSA	11.81	21.91	28.37	6.36	6.81	6.91
	FOREST	14.16	24.79	31.25	7.89	8.38	8.47
	DyHGCN	15.92	28.53	36.05	8.56	9.12	9.23
	TRGCN	17.79	30.87	38.20	10.35	10.95	11.05
Memetracker	DeepDiffuse	13.93	26.50	34.77	8.14	8.69	8.80
	NDM	25.44	42.19	51.44	13.57	14.33	14.46
	FOREST	29.43	47.41	56.77	16.37	17.21	17.34
	DyHGCN	29.74	48.45	58.39	16.48	17.33	17.48
	TRGCN	30.58	50.43	60.34	17.91	18.82	18.96

数据集	模型	Hits@10	Hits@50	Hits@100	Map@10	Map@50	Map@100
Twitter	DeepDiffuse	4.57	8.80	13.39	3.62	3.79	3.85
	Topo-LSTM	6.51	15.48	23.68	4.31	4.67	4.79
	NDM	21.52	32.23	38.31	14.30	14.80	14.89
	SNIDSA	23.37	35.46	43.49	14.84	15.40	15.51
	FOREST	26.18	40.95	50.39	17.21	17.88	18.02
	DyHGCN	28.10	47.17	58.16	16.86	17.73	17.89
	TRGCN	30.90	49.56	60.01	19.11	19.96	20.11
Ddouban	DeepDiffuse	9.02	14.93	19.13	4.80	5.07	5.13
	Topo-LSTM	9.16	14.94	18.93	5.00	5.26	5.32
	NDM	10.31	18.87	24.02	5.54	5.93	6.00
	SNIDSA	11.81	21.91	28.37	6.36	6.81	6.91
	FOREST	14.16	24.79	31.25	7.89	8.38	8.47
	DyHGCN	15.92	28.53	36.05	8.56	9.12	9.23
	TRGCN	17.79	30.87	38.20	10.35	10.95	11.05
Memetracker	DeepDiffuse	13.93	26.50	34.77	8.14	8.69	8.80
	NDM	25.44	42.19	51.44	13.57	14.33	14.46
	FOREST	29.43	47.41	56.77	16.37	17.21	17.34
	DyHGCN	29.74	48.45	58.39	16.48	17.33	17.48
	TRGCN	30.58	50.43	60.34	17.91	18.82	18.96

模型	Hits@10	Hits@50	Hits@100	Map@10	Map@50	Map@100
TRGCN	30.90	49.56	60.01	19.11	19.96	20.11
-Social network	30.65	49.10	59.70	18.31	19.13	19.29
-RGCN	29.92	48.44	58.53	17.91	18.75	18.89
-Bi-LSTM	29.82	48.67	59.55	18.13	18.99	19.15
-Time decay	30.23	49.46	59.34	18.23	19.10	19.24
-Transformer	25.02	42.08	52.97	14.66	15.42	15.57

基于Transformer和关系图卷积网络的信息传播预测模型

Information diffusion prediction model based on Transformer and relational graph convolutional network

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 11

参考文献 24

相关文章 15

编辑推荐

Metrics

[1]	任烈弘, 黄铝文, 田旭, 段飞. 基于DFT的频率敏感双分支Transformer多变量长时间序列预测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2739-2746.
[2]	李金金, 桑国明, 张益嘉. APK-CNN和Transformer增强的多域虚假新闻检测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2674-2682.
[3]	黄云川, 江永全, 黄骏涛, 杨燕. 基于元图同构网络的分子毒性预测[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2964-2969.
[4]	杨鑫, 陈雪妮, 吴春江, 周世杰. 结合变种残差模型和Transformer的城市公路短时交通流预测[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2947-2951.
[5]	方介泼, 陶重犇. 应对零日攻击的混合车联网入侵检测系统[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2763-2769.
[6]	贾洁茹, 杨建超, 张硕蕊, 闫涛, 陈斌. 基于自蒸馏视觉Transformer的无监督行人重识别[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2893-2902.
[7]	汪雨晴, 朱广丽, 段文杰, 李书羽, 周若彤. 基于交互注意力机制的心理咨询文本情感分类模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2393-2399.
[8]	丁宇伟, 石洪波, 李杰, 梁敏. 基于局部和全局特征解耦的图像去噪网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2571-2579.
[9]	邓凯丽, 魏伟波, 潘振宽. 改进掩码自编码器的工业缺陷检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2595-2603.
[10]	杨帆, 邹窈, 朱明志, 马振伟, 程大伟, 蒋昌俊. 基于图注意力Transformer神经网络的信用卡欺诈检测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2634-2642.
[11]	石乾宏, 杨燕, 江永全, 欧阳小草, 范武波, 陈强, 姜涛, 李媛. 面向空气质量预测的多粒度突变拟合网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2643-2650.
[12]	李大海, 王忠华, 王振东. 结合空间域和频域信息的双分支低光照图像增强网络[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2175-2182.
[13]	刘瑞华, 郝子赫, 邹洋杨. 基于多层级精细特征融合的步态识别算法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2250-2257.
[14]	黄梦源, 常侃, 凌铭阳, 韦新杰, 覃团发. 基于层间引导的低光照图像渐进增强算法[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1911-1919.
[15]	黎施彬, 龚俊, 汤圣君. 基于Graph Transformer的半监督异配图表示学习模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1816-1823.