基于无采样协作知识图网络的推荐系统

doi:10.11772/j.issn.1001-9081.2021071255

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (4): 1057-1064.DOI: 10.11772/j.issn.1001-9081.2021071255

• CCF第36届中国计算机应用大会 (CCF NCCA 2021) • 上一篇

基于无采样协作知识图网络的推荐系统

蒋雯静¹^,², 熊熙¹^,²^,³(), 李中志¹^,², 李斌勇¹^,²

^1.成都信息工程大学网络空间安全学院，成都 610255
^2.先进密码技术与系统安全四川省重点实验室（成都信息工程大学），成都 610225
^3.四川大学空天科学与工程学院，成都 610065

收稿日期:2021-07-16 修回日期:2021-08-20 接受日期:2021-08-25 发布日期:2021-08-20 出版日期:2022-04-10
通讯作者: 熊熙
作者简介:蒋雯静（1995—），女，四川乐山人，硕士研究生，主要研究方向：推荐系统、知识图谱
李中志（1973—），男，四川泸州人，副教授，硕士，CCF会员，主要研究方向：数据挖掘
李斌勇（1982—），男，四川绵阳人，讲师，博士，CCF会员，主要研究方向：工业智能化、数据挖掘。
基金资助:
国家自然科学基金资助项目(81901389);教育部“春晖计划”合作科研项目(2019);中国博士后科学基金资助项目(2019M653400)

Recommendation system based on non-sampling collaborative knowledge graph network

Wenjing JIANG¹^,², Xi XIONG¹^,²^,³(), Zhongzhi LI¹^,², Binyong LI¹^,²

^1.School of Cybersecurity，Chengdu University of Information Technology，Chengdu Sichuan 610225，China
^2.Advanced Cryptography and System Security Key Laboratory of Sichuan Province（Chengdu University of Information Technology），Chengdu Sichuan 610225，China
^3.School of Aeronautics and Astronautics，Sichuan University，Chengdu Sichuan 610065，China

Received:2021-07-16 Revised:2021-08-20 Accepted:2021-08-25 Online:2021-08-20 Published:2022-04-10
Contact: Xi XIONG
About author:JIANG Wenjing， born in 1995， M. S. candidate. Her research interests include recommendation system， knowledge graph.
LI Zhongzhi， born in 1973， M. S.， associate professor. His research interests include data mining.
LI Binyong， born in 1982， Ph. D.， lecturer. His research interests include industrial intelligence， data mining.
Supported by:
National Natural Science Foundation of China(81901389);“Chunhui Program” Cooperative Scientific Research Project of Ministry of Education （2019）, China Postdoctoral Science Foundation(2019M653400)

摘要/Abstract

摘要：

知识图谱（KG）可以通过高效组织海量数据实现信息的有效抽取，因而基于知识图谱的推荐方法得到了广泛的研究和应用。针对图神经网络在知识图谱建模中的采样误差问题，提出了一种无采样协作知识图网络（NCKN）的方法。首先，设计了无采样知识传播模块，通过在单个卷积层使用不同大小的线性聚合器来捕捉深层次的信息，实现高效的无采样预计算；然后，为了区分邻居节点贡献度，在传播过程中引入注意力机制；最后，协作传播模块将知识嵌入同用户交互中的协作信号相结合，以更好地描述用户偏好。基于三个真实数据集，评估了NCKN在CTR预测和Top-k预测中的性能。实验结果表明，与主流算法RippleNet、知识图卷积神经网络（KGCN）相比，NCKN在CTR预测中的准确率平均分别提升了2.71%、4.60%；Top-k预测中，NCKN的准确率平均分别提升了5.26%、3.91%。所提方法不仅解决了图神经网络在知识图谱建模中的采样误差问题，且提升了推荐模型的准确率。

关键词: 知识图谱, 推荐系统, 采样策略, 图神经网络, 注意力机制

Abstract:

Knowledge Graph （KG） can effectively extract information by efficiently organizing massive data. Therefore， recommendation methods based on knowledge graph have been widely studied and applied. Aiming at the sampling error problem of graph neural network in knowledge graph modeling， a method of Non-sampling Collaborative Knowledge graph Network （NCKN） was proposed. Firstly， a non-sampling knowledge dissemination module was designed， in which linear aggregators with different sizes were used in a single convolutional layer to capture deep-level information and achieve efficient non-sampling pre-computation. Then， in order to distinguish the contribution degrees of neighbor nodes， attention mechanism was introduced in the dissemination process. Finally， the collaboration signal of user interaction and knowledge embedding were combined in the collaborative dissemination module to better describe user preferences. Based on three real datasets， the performance of NCKN in CTR （Click Through Rate） prediction and Top-k was evaluated. The experimental results show that compared with the mainstream algorithms RippleNet （Ripple Network） and KGCN （Knowledge Graph Convolutional Network）， the accuracy of NCKN in CTR prediction increases by 2.71% and 4.60%， respectively； in the Top-k forecast， prediction， the accuracy of NCKN increases by 5.26% and 3.91% on average respectively. The proposed method not only solves the sampling error problem of graph neural network in knowledge map modeling， but also improves the accuracy of the recommended model.

Key words: Knowledge Graph (KG), recommendation system, sampling strategy, graph neural network, attention mechanism

中图分类号:

TP181

蒋雯静, 熊熙, 李中志, 李斌勇. 基于无采样协作知识图网络的推荐系统[J]. 计算机应用, 2022, 42(4): 1057-1064.

Wenjing JIANG, Xi XIONG, Zhongzhi LI, Binyong LI. Recommendation system based on non-sampling collaborative knowledge graph network[J]. Journal of Computer Applications, 2022, 42(4): 1057-1064.

图/表 7

图1 NCKN模型框架

Fig. 1 Model framework of NCKN

表1 实验数据集统计信息

Tab. 1 Statistical information on experimental datasets

数据集	#用户	#项目	#交互	#平均交互	#实体	#关系	#KG三元组	#平均链接
Last.FM	1 872	3 846	42 346	23	9 366	60	15 518	4
Book-Crossing	17 860	14 976	139 746	8	77 903	25	151 500	10
MovieLens-20M	138 159	16 954	13 501 622	98	102 567	32	499 474	29

表2 基于AUC和F1指标的CTR预测结果

Tab. 2 CTR prediction results based on AUC and F1 metrics

模型	Last.FM		Book-Crossing		MovieLens-20M
模型	AUC	F1	AUC	F1	AUC	F1
BPRMF	0.753	0.718	0.669	0.617	0.962	0.916
CKE	0.781	0.691	0.684	0.628	0.929	0.877
PER	0.658	0.628	0.608	0.569	0.841	0.801
RippleNet	0.797	0.714	0.729	0.651	0.978	0.927
KGCN	0.813	0.731	0.691	0.639	0.976	0.929
KGAT	0.828	0.746	0.736	0.657	0.977	0.928
NCKN	0.832	0.754	0.749	0.668	0.979	0.931

图2 基于Recall@k指标的Top-k预测结果

Fig. 2 Top-k prediction results based on Recall@k metric

图3 基于AUC的嵌入维度影响

Fig. 3 Impact of based on AUC embedding dimension

图4 基于AUC的传播层数的影响

Fig. 4 Impact of number of propagation layers based on AUC

表3 基于AUC的协作传播和无采样知识传播模块消融实验结果

Tab. 3 Experimental results of AUC-based ablation of collaborative dissemination and non-sampling knowledge dissemination modules

数据集	AUC
数据集	NCKN_2CP	NCKN_SP	NCKN
Last.FM	0.799	0.824	0.839
Book-Crossing	0.734	0.747	0.751
MovieLens-20M	0.966	0.961	0.974

参考文献 21

1	WANG H W， ZHANG F Z， WANG J L， et al. RippleNet： propagating user preferences on the knowledge graph for recommender systems ［C］// Proceedings of the 27th ACM International Conference on Information and Knowledge Management. New York： ACM， 2018： 417-426. 10.1145/3269206.3271739
2	孔元元，白智远，张飒，等.融合时间与兴趣相似度的产品推荐方法研究［J］.计算机技术与发展，2019，29（9）：195-199. 10.3969/j.issn.1673-629X.2019.09.037
	KONG Y Y， BAI Z Y， ZHANG S， et al. Research on products recommendation method integrated with time weight and interest similarity［J］. Computer Technology and Development， 2019， 29（9）： 195-199. 10.3969/j.issn.1673-629X.2019.09.037
3	WANG H W， ZHANG F Z， XIE X， et al. DKN： deep knowledge-aware network for news recommendation ［C］// Proceedings of the 2018 World Wide Web Conference. New York： ACM， 2018： 1835-1844. 10.1145/3178876.3186175
4	贾雯，李香.融合用户相似度的协同过滤算法研究［J］.信息与电脑（理论版），2020，32（14）：74-76.
	JIA W， LI X. Research on collaborative filtering algorithm based on user similarity［J］. China Computer & Communication（Theoretical Edition）， 2020， 32（14）： 74-76.
5	RENDLE S， FREUDENTHALER C， GANTNER Z， et al. BPR： Bayesian personalized ranking from implicit feedback ［C］// Proceedings of the 25th Conference on Uncertainty in Artificial Intelligence. New York： ACM， 2009： 452-461.
6	WANG H W， ZHANG F Z， ZHAO M， et al. Multi-task feature learning for knowledge graph enhanced recommendation ［C］// Proceedings of the 28th World Wide Web Conference. New York： ACM， 2019： 2000-2010. 10.1145/3308558.3313411
7	DONG L， WEI F R， ZHOU M， et al. Question answering over freebase with multi-column convolutional neural networks ［C］// Proceedings of the 53rd Annual Meeting of Association for Computer Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2015： 260-269. 10.3115/v1/p15-1026
8	ZHANG F Z， YUAN N J， LIAN D F， et al. Collaborative knowledge base embedding for recommender systems ［C］// Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2016： 353-362. 10.1145/2939672.2939673
9	HU B B， SHI C， ZHAO W X， et al. Leveraging meta-path based context for top-n recommendation with a neural co-attention model ［C］// Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York： ACM， 2018： 1531-1540. 10.1145/3219819.3219965
10	WANG H W， ZHAO M， XIE X， et al. Knowledge graph convolutional networks for recommender systems ［C］// Proceedings of the 28th World Wide Web Conference. New York： ACM， 2019： 3307-3313. 10.1145/3308558.3313417
11	WANG X， HE X N， CAO Y X， et al. KGAT： knowledge graph attention network for recommendation ［C］// Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York： ACM， 2019： 950-958. 10.1145/3292500.3330989
12	李昌华，刘艺，李智杰.用于非精确图匹配的改进注意图卷积网络［J］.小型微型计算机系统，2021，42（1）：41-45. 10.3969/j.issn.1000-1220.2021.01.008
	LI C H， LIU Y， LI Z J. Improved attention graph convolutional network model for inexact graph matching［J］. Journal of Chinese Computer Systems，2021， 42（1）： 41-45. 10.3969/j.issn.1000-1220.2021.01.008
13	RONG Y， HUANG W B， XU T Y， et al. DropEdge： towards deep graph convolutional networks on node classification ［EB/OL］// ［2020-03-12］. . 10.1007/978-3-030-75765-6_6
14	BORDES A， USUNIER N， GARCIA-DURÁN A， et al. Translating embeddings for modeling multi-relational data ［C］// Proceedings of the 26th International Conference on Neural Information Processing Systems. New York： Curran Associates Inc.， 2013： 2787-2795. 10.1007/978-3-662-44848-9_28
15	JI G L， HE S Z， XU L H， et al. Knowledge graph embedding via dynamic mapping matrix ［C］// Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2015： 687-696. 10.3115/v1/p15-1067
16	YU X， REN X， SUN Y Z， et al. Personalized entity recommendation： a heterogeneous information network approach ［C］// Proceedings of 7th ACM International Conference on Web Search and Data Mining. New York： ACM， 2014： 283-292. 10.1145/2556195.2556259
17	HAMILTON W L， YING R， LESKOVEC J. Inductive representation learning on large graphs ［C］// Proceedings of the 31st Annual Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2017： 1025-1035. 10.1145/3219819.3219890
18	WANG Z， LIN G Y， TAN H B， et al. CKAN： collaborative knowledge-aware attentive network for recommender systems ［C］// Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2020： 219-228. 10.1145/3397271.3401141
19	CHIANG W L， LIU X Q， SI S， et al. ClusterGCN： an efficient algorithm for training deep and large graph convolutional networks ［C］// Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York： ACM， 2019： 257-266. 10.1145/3292500.3330925
20	高亚男，刘勇，惠丽.基于循环采样聚合邻居信息的动态网络表征方法［J］.黑龙江大学工程学报，2021，12（1）：62-67.
	GAO Y N， LIU Y， HUI L. Dynamic network representation method based on recurrent sampling to gather neighbor nodes［J］. Journal of Engineering of Heilongjiang University， 2021， 12（1）： 62-67.
21	宋继红，王桐桐.基于特征融合卷积神经网络的加密流量分类方法［J］.信息与电脑（理论版），2021，33（2）：49-51. 10.1109/cac53003.2021.9728127
	SONG J H， WANG T T. Encrypted traffic classification method based on feature fusion convolutional neural network［J］. China Computer & Communication （Theoretical Edition）， 2021， 33（2）： 49-51. 10.1109/cac53003.2021.9728127

[1]	焦守龙, 段友祥, 孙歧峰, 庄子浩, 孙琛皓. 融合实体描述信息和邻居节点特征的知识表示学习方法[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1050-1056.
[2]	朱文球, 邹广, 曾志高. 融合层次特征和混合注意力的目标跟踪算法[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 833-843.
[3]	余娜, 刘彦, 魏雄炬, 万源. 基于注意力机制和金字塔融合的RGB-D室内场景语义分割[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 844-853.
[4]	陈露, 张晓霞, 于洪. 基于先验知识的非负矩阵半可解释三因子分解算法[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 671-675.
[5]	罗圣钦, 陈金怡, 李洪均. 基于注意力机制的多尺度残差UNet实现乳腺癌灶分割[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 818-824.
[6]	赵玉明, 顾慎凯. 融合残差密集块自注意力机制和生成对抗网络的对抗攻击防御模型[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 921-929.
[7]	刘朋伟, 高媛, 秦品乐, 殷喆, 王丽芳. 基于多感受野的生成对抗网络医学MRI影像超分辨率重建[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 938-945.
[8]	刘忠慧, 王梓宥, 闵帆. 近似概念的遗传生成算法及其推荐应用[J]. 《计算机应用》唯一官方网站, 2022, 42(2): 412-418.
[9]	潘仁志, 钱付兰, 赵姝, 张燕平. 基于卷积神经网络交互的用户属性偏好建模的推荐模型[J]. 《计算机应用》唯一官方网站, 2022, 42(2): 404-411.
[10]	张毅, 王爽胜, 何彬, 叶培明, 李克强. 基于BERT的初等数学文本命名实体识别方法[J]. 《计算机应用》唯一官方网站, 2022, 42(2): 433-439.
[11]	孟杰, 王莉, 杨延杰, 廉飚. 基于多模态深度融合的虚假信息检测[J]. 《计算机应用》唯一官方网站, 2022, 42(2): 419-425.
[12]	李亚鸣, 邢凯, 邓洪武, 王志勇, 胡璇. 基于小样本无梯度学习的卷积结构预训练模型性能优化方法[J]. 《计算机应用》唯一官方网站, 2022, 42(2): 365-374.
[13]	刘羽茜, 刘玉奇, 张宗霖, 卫志华, 苗冉. 注入注意力机制的深度特征融合新闻推荐模型[J]. 《计算机应用》唯一官方网站, 2022, 42(2): 426-432.
[14]	吕学强, 彭郴, 张乐, 董志安, 游新冬. 融合BERT与标签语义注意力的文本多标签分类方法[J]. 《计算机应用》唯一官方网站, 2022, 42(1): 57-63.
[15]	王润泽, 张月琴, 秦琪琦, 张泽华, 郭旭敏. 多视角多注意力融合分子特征的药物-靶标亲和力预测[J]. 《计算机应用》唯一官方网站, 2022, 42(1): 325-332.

基于无采样协作知识图网络的推荐系统

Recommendation system based on non-sampling collaborative knowledge graph network

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 7

参考文献 21

相关文章 15

编辑推荐

Metrics