融合知识图谱和图注意力网络的引文推荐算法

doi:10.11772/j.issn.1001-9081.2022071110

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (8): 2420-2425.DOI: 10.11772/j.issn.1001-9081.2022071110

• 人工智能 • 上一篇

融合知识图谱和图注意力网络的引文推荐算法

樊海玮, 鲁芯丝雨(), 张丽苗, 安毅生

长安大学信息工程学院，西安 710064

收稿日期:2022-07-29 修回日期:2022-11-20 接受日期:2022-11-30 发布日期:2023-01-15 出版日期:2023-08-10
通讯作者: 鲁芯丝雨
作者简介:樊海玮（1974—），男，陕西西安人，副教授，硕士，主要研究方向：软件系统设计、机器学习
张丽苗（1997—），女，山西临汾人，硕士研究生，主要研究方向：深度学习
安毅生（1972—），男（回族），陕西西安人，教授，博士，主要研究方向：计算机支持协同设计、Petri网。
基金资助:
陕西高等教育教学改革研究项目(21BY031);陕西省第二批新工科研究与实践项目(54);中央高校基本科研业务费专项(300103112403)

Citation recommendation algorithm fusing knowledge graph and graph attention network

Haiwei FAN, Xinsiyu LU(), Limiao ZHANG, Yisheng AN

School of Information Engineering，Chang’an University，Xi’an Shaanxi 710064，China

Received:2022-07-29 Revised:2022-11-20 Accepted:2022-11-30 Online:2023-01-15 Published:2023-08-10
Contact: Xinsiyu LU
About author:FAN Haiwei， born in 1974， M. S.， associate professor. His research interests include software system design， machine learning.
ZHANG Limiao， born in 1997， M. S. candidate. Her research interests include deep learning.
AN Yisheng， born in 1972， Ph. D.， professor. His research interests include computer-support collaborative design， Petri network.
Supported by:
Shaanxi Higher Education and Teaching Reform Research Project(21BY031);the Second Batch of New Engineering Research and Practice Project in Shaanxi Province （54）, Fundamental Research Funds for the Central Universities(300103112403)

摘要/Abstract

摘要：

针对传统协同过滤（CF）中的数据稀疏和冷启动问题，以及元路径、随机游走算法没有充分利用节点信息的问题，提出融合知识图谱和图注意力网络的引文推荐算法（C-KGAT）。首先，使用TransR算法将知识图谱信息映射为低维稠密向量，以获取节点的嵌入特征表示；其次，利用图注意力网络通过多通道融合机制聚合邻居节点信息以丰富目标节点的语义，并捕获节点间高阶连通性；接着，在不影响网络的深度或宽度的情况下，引入动态卷积层动态地聚合邻居节点信息以提升模型的表达能力；最后，通过预测层计算用户和引文的交互概率。在公开数据集AAN（ACL Anthology Network）和计算机科学文献库（DBLP）上的实验结果表明，所提算法的效果优于所有对比模型，所提算法的MRR（Mean Reciprocal Rank）相较于次优模型NNSelect分别提升了6.0和3.4个百分点，所提算法的精确率和召回率指标也有不同程度的提升，验证了算法的有效性。

关键词: 知识图谱, 图注意力网络, 引文推荐, 动态卷积, 聚合

Abstract:

Aiming at problems of data sparseness and cold start in traditional Collaborative Filtering （CF） and problem that meta-path and random walk algorithms do not fully utilize node information， a Citation Recommendation Algorithm Fusing Knowledge Graph and Graph Attention Network （C-KGAT） was proposed. Firstly， knowledge graph information was mapped into low-dimensional dense vectors by using TransR algorithm to obtain embedded feature representation of the nodes. Secondly， through multi-channel fusion mechanism， graph attention network was used to aggregate neighbor node information to enrich semantics of target nodes and capture high-order connectivity between nodes. Thirdly， without affecting depth or width of network， dynamic convolutional layer was introduced to aggregate information of neighbor nodes dynamically to improve expression ability of the model. Finally， the interaction probabilities of users and citations were calculated through the prediction layer. Experimental results on public datasets AAN （ACL Anthology Network） and DataBase systems and Logic Programming （DBLP） show that the proposed algorithm performs better than all comparison models. The MRR （Mean Reciprocal Rank） of the proposed algorithm is increased by 6.0 and 3.4 percentage points respectively compared with that of the suboptimal model NNSelect， and the $P r e c i s i o n$ and $R e c a l l$ indicators of the proposed algorithm also have different degrees of improvement， which verifies the effectiveness of the algorithm.

Key words: knowledge graph, graph attention network, citation recommendation, dynamic convolution, aggregation

中图分类号:

TP391.3

樊海玮, 鲁芯丝雨, 张丽苗, 安毅生. 融合知识图谱和图注意力网络的引文推荐算法[J]. 计算机应用, 2023, 43(8): 2420-2425.

Haiwei FAN, Xinsiyu LU, Limiao ZHANG, Yisheng AN. Citation recommendation algorithm fusing knowledge graph and graph attention network[J]. Journal of Computer Applications, 2023, 43(8): 2420-2425.

图/表 9

参考文献 25

1	GAZDAR A， HIDRI L. A new similarity measure for collaborative filtering based recommender systems［J］. Knowledge-Based Systems， 2020， 188： No.105058. 10.1016/j.knosys.2019.105058
2	ALI Z， ULLAH I， KHAN A， et al. An overview and evaluation of citation recommendation models［J］. Scientometrics， 2021， 126（5）： 4083-4119. 10.1007/s11192-021-03909-y
3	ALFARHOOD M， CHENG J L. CATA++： a collaborative dual attentive autoencoder method for recommending scientific articles［J］. IEEE Access， 2020， 8： 183633-183648. 10.1109/access.2020.3029722
4	ALI Z， QI G L， MUHAMMAD K， et al. Paper recommendation based on heterogeneous network embedding［J］. Knowledge-Based Systems， 2020， 210： No.106438. 10.1016/j.knosys.2020.106438
5	YANG L B， ZHANG Z Q， CAI X Y， et al. Attention-based personalized encoder-decoder model for local citation recommendation［J］. Computational Intelligence and Neuroscience， 2019， 2019： No.1232581. 10.1155/2019/1232581
6	DAI T， ZHU L， WANG Y X， et al. Attentive stacked denoising autoencoder with Bi-LSTM for personalized context-aware citation recommendation［J］. IEEE/ACM Transactions on Audio， Speech， and Language Processing， 2020， 28： 553-568. 10.1109/taslp.2019.2949925
7	ALI Z， KEFALAS P， MUHAMMAD K， et al. Deep learning in citation recommendation models survey［J］. Expert Systems with Applications， 2020， 162： No.113790. 10.1016/j.eswa.2020.113790
8	CAI X Y， ZHENG Y， YANG L B， et al. Bibliographic network representation based personalized citation recommendation［J］. IEEE Access， 2019， 7： 457-467. 10.1109/access.2018.2885507
9	ZHANG Y， MA Q. Citation recommendations considering content and structural context embedding［C］// Proceedings of 2020 IEEE International Conference on Big Data and Smart Computing. Piscataway： IEEE， 2020： 1-7. 10.1109/bigcomp48618.2020.0-109
10	ZHOU J， CUI G Q， HU S D， et al. Graph neural networks： a review of methods and applications［J］. AI Open， 2020， 1： 57-81. 10.1016/j.aiopen.2021.01.001
11	MA S T， ZHANG C Z， LIU X Z. A review of citation recommendation： from textual content to enriched context［J］. Scientometrics， 2020， 122（3）： 1445-1472. 10.1007/s11192-019-03336-0
12	YIN J， LI X M. Personalized citation recommendation via convolutional neural networks［C］// Proceedings of 2017 Asia-Pacific Web and Web-Age Information Management Joint Conference on Web and Big Data， LNCS 10367. Cham： Springer， 2017： 285-293.
13	DU Z X， TANG J， DING Y H. POLAR： attention-based CNN for one-shot personalized article recommendation［C］// Proceedings of 2018 Joint European Conference on Machine Learning and Knowledge Discovery in Databases， LNCS 11052. Cham： Springer， 2019： 675-690.
14	ZHANG Z L， LI Z F， LIU H， et al. Multi-scale dynamic convolutional network for knowledge graph embedding［J］. IEEE Transactions on Knowledge and Data Engineering， 2022， 34（5）： 2335-2347. 10.1109/tkde.2020.3005952
15	DING E J， CHENG Y H， XIAO C C， et al. Efficient attention mechanism for dynamic convolution in lightweight neural network［J］. Applied Sciences， 2021， 11（7）： No.3111. 10.3390/app11073111
16	YANG B， BENDER G， LE Q V， et al. CondConv： conditionally parameterized convolutions for efficient inference［C］// Proceedings of the 33rd International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2019： 1307-1318. 10.48550/arXiv.1904.04971
17	CHEN Y P， DAI X Y， LIU M C， et al. Dynamic Convolution： attention over convolution kernels［C］// Proceedings of 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2020： 11027-11036. 10.1109/cvpr42600.2020.01104
18	ZHANG Z H， JIA J L， WAN Y L， et al. TransR*： representation learning model by flexible translation and relation matrix projection［J］. Journal of Intelligent and Fuzzy Systems， 2021， 40（5）： 10251-10259. 10.3233/jifs-202177
19	RADEV D R， MUTHUKRISHNAN P， QAZVINIAN V， et al. The ACL anthology network corpus［J］. Language Resources and Evaluation， 2013， 47（4）： 919-944. 10.1007/s10579-012-9211-2
20	GUPTA S， VARMA V. Scientific article recommendation by using distributed representations of text and graph［C］// Proceedings of the 26th International Conference on World Wide Web Companion. Republic and Canton of Geneva： International World Wide Web Conferences Steering Committee， 2017： 1267-1268. 10.1145/3041021.3053062
21	XUE G T， ZHONG M， LI J X， et al. Dynamic network embedding survey［J］. Neurocomputing， 2022， 472： 212-223. 10.1016/j.neucom.2021.03.138
22	LAURIOLA I， LAVELLI A， AIOLLI F. An introduction to deep learning in natural language processing： models， techniques， and tools［J］. Neurocomputing， 2022， 470： 443-456. 10.1016/j.neucom.2021.05.103
23	DONG Y X， CHAWLA N V， SWAMI A. Metapath2vec： scalable representation learning for heterogeneous networks［C］// Proceedings of the 23rd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2017： 135-144. 10.1145/3097983.3098036
24	BHAGAVATULA C， FELDMAN S， POWER R， et al. Content-based citation recommendation［C］// Proceedings of 2018 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies， Volume 1 （Long Papers）. Stroudsburg， PA： ACL， 2018： 238-251. 10.18653/v1/n18-1022
25	GUO Z W， WANG H. A deep graph neural network-based mechanism for social recommendations［J］. IEEE Transactions on Industrial Informatics， 2021， 17（4）： 2776-2783. 10.1109/tii.2020.2986316

数据集	论文数	作者数	引用数	关键词数
AAN	24 628	18 862	103 895	1 885
DBLP	51 040	25 981	364 778	3 903

数据集	论文数	作者数	引用数	关键词数
AAN	24 628	18 862	103 895	1 885
DBLP	51 040	25 981	364 778	3 903

模型	DBLP数据集							AAN数据集
模型	P@10	P@20	R@20	R@40	R@60	F1@20	MRR	P@10	P@20	R@20	R@40	R@60	F1@20	MRR
CATA++^［3］	0.186	0.151	0.124	0.179	0.238	0.147	0.435	0.191	0.128	0.164	0.218	0.252	0.144	0.461
DeepWalk^［21］	0.178	0.119	0.234	0.325	0.374	0.158	0.493	0.195	0.104	0.139	0.195	0.239	0.119	0.473
Doc2vec^［22］	0.067	0.038	0.092	0.143	0.184	0.054	0.401	0.075	0.062	0.103	0.186	0.236	0.077	0.354
Metapath2vec^［23］	0.121	0.082	0.119	0.196	0.246	0.097	0.258	0.125	0.082	0.107	0.171	0.210	0.093	0.329
NNSelect^［24］	0.246	0.150	0.279	0.349	0.406	0.195	0.512	0.219	0.146	0.176	0.237	0.296	0.160	0.525
GNN-SoR^［25］	0.197	0.157	0.131	0.189	0.253	0.153	0.443	0.206	0.139	0.169	0.225	0.260	0.153	0.453
C-KGAT	0.278	0.196	0.319	0.410	0.460	0.242	0.572	0.297	0.205	0.244	0.280	0.339	0.223	0.559

模型	DBLP数据集							AAN数据集
模型	P@10	P@20	R@20	R@40	R@60	F1@20	MRR	P@10	P@20	R@20	R@40	R@60	F1@20	MRR
CATA++^［3］	0.186	0.151	0.124	0.179	0.238	0.147	0.435	0.191	0.128	0.164	0.218	0.252	0.144	0.461
DeepWalk^［21］	0.178	0.119	0.234	0.325	0.374	0.158	0.493	0.195	0.104	0.139	0.195	0.239	0.119	0.473
Doc2vec^［22］	0.067	0.038	0.092	0.143	0.184	0.054	0.401	0.075	0.062	0.103	0.186	0.236	0.077	0.354
Metapath2vec^［23］	0.121	0.082	0.119	0.196	0.246	0.097	0.258	0.125	0.082	0.107	0.171	0.210	0.093	0.329
NNSelect^［24］	0.246	0.150	0.279	0.349	0.406	0.195	0.512	0.219	0.146	0.176	0.237	0.296	0.160	0.525
GNN-SoR^［25］	0.197	0.157	0.131	0.189	0.253	0.153	0.443	0.206	0.139	0.169	0.225	0.260	0.153	0.453
C-KGAT	0.278	0.196	0.319	0.410	0.460	0.242	0.572	0.297	0.205	0.244	0.280	0.339	0.223	0.559

模型	DBLP	AAN
C-KGAT/D	0.567	0.552
C-KGAT/P	0.559	0.547
C-KGAT	0.572	0.559

融合知识图谱和图注意力网络的引文推荐算法

Citation recommendation algorithm fusing knowledge graph and graph attention network

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 9

参考文献 25

相关文章 15

编辑推荐

Metrics

[1]	衡红军, 杨鼎诚. 知识增强的方面词交互图神经网络[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2412-2419.
[2]	刘斌, 张倩, 魏亚琴, 崔学英, 智红英. 基于表达式的逐层聚合和动态选择的图到方程树模型[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2390-2395.
[3]	姬张建, 张明, 王子龙. 基于改进VarifocalNet的高精度目标检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2147-2154.
[4]	夏子芳, 于亚新, 王子腾, 乔佳琪. 融合协同知识图谱与反事实推理的可解释推荐机制[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2001-2009.
[5]	岑黎彬, 李靖东, 林淳波, 王晓玲. 基于深度自回归模型的近似查询处理方法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2034-2039.
[6]	郑智雄, 刘建华, 孙水华, 徐戈, 林鸿辉. 融合多窗口局部信息的方面级情感分析模型[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1796-1802.
[7]	魏兴慎, 高鹏, 吕卓, 曹永健, 周剑, 屈志昊. 基于自适应交互反馈的电力终端信任度评估机制[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1878-1883.
[8]	隋佳宏, 毛莺池, 于慧敏, 王子成, 平萍. 基于图注意力网络的全局图像描述生成方法[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1409-1415.
[9]	郝劭辰, 卫孜钻, 马垚, 于丹, 陈永乐. 基于高效联邦学习算法的网络入侵检测模型[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1169-1175.
[10]	吕学强, 张煜楠, 韩晶, 崔运鹏, 李欢. 融合边特征与注意力的表格结构识别模型[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 752-758.
[11]	王泽宇, 布树辉, 黄伟, 郑远攀, 吴庆岗, 张旭. 面向交通场景解析的局部和全局上下文注意力融合网络[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 713-722.
[12]	袁立宁, 刘钊. 基于One-Shot聚合自编码器的图表示学习[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 8-14.
[13]	陈恒, 王思懿, 李正光, 李冠宇, 刘鑫. 基于关系记忆的胶囊网络知识图谱嵌入模型[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 1985-1992.
[14]	谭湘粤, 胡晓, 杨佳信, 向俊将. 基于递进式特征增强聚合的伪装目标检测[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2192-2200.
[15]	杨世刚, 刘勇国. 融合语料库特征与图注意力网络的短文本分类方法[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1324-1329.