基于知识图偏好注意力网络的长短期推荐模型及其更新方法

doi:10.11772/j.issn.1001-9081.2021071242

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (4): 1079-1086.DOI: 10.11772/j.issn.1001-9081.2021071242

• CCF第36届中国计算机应用大会 (CCF NCCA 2021) • 上一篇

基于知识图偏好注意力网络的长短期推荐模型及其更新方法

顾军华¹^,², 樊帅¹, 李宁宁¹, 张素琪³()

^1.河北工业大学人工智能与数据科学学院，天津 300401
^2.河北省大数据计算重点实验室（河北工业大学），天津 300401
^3.天津商业大学信息工程学院，天津 300134

收稿日期:2021-07-16 修回日期:2021-09-06 接受日期:2021-09-08 发布日期:2021-09-27 出版日期:2022-04-10
通讯作者: 张素琪
作者简介:顾军华（1966—），男，天津人，教授，博士，CCF会员，主要研究方向：智能信息处理、数据挖掘
樊帅（1996—），男，河北张家口人，硕士研究生，主要研究方向：推荐系统、智能信息处理
李宁宁（1994—），女，河南周口人，硕士研究生，主要研究方向：推荐系统、智能信息处理
基金资助:
国家自然科学基金资助项目(61802282);天津市科技计划项目技术创新引导专项(20YDTPJC00670)

Long- and short-term recommendation model and updating method based on knowledge graph preference attention network

Junhua GU¹^,², Shuai FAN¹, Ningning LI¹, Suqi ZHANG³()

^1.School of Artificial Intelligence，Hebei University of Technology，Tianjin 300401，China
^2.Hebei Province Key Laboratory of Big Data Calculation （Hebei University of Technology），Tianjin 300401，China
^3.School of Information Engineering，Tianjin University of Commerce，Tianjin 300134，China

Received:2021-07-16 Revised:2021-09-06 Accepted:2021-09-08 Online:2021-09-27 Published:2022-04-10
Contact: Suqi ZHANG
About author:GU Junhua， born in1966， Ph. D.， professor. His research interests include intelligent information processing， data mining.
FAN Shuai， born in 1996， M. S. candidate. His research interests include recommender system， intelligent information processing.
LI Ningning， born in 1994， M. S. candidate. Her research interests include recommender system， intelligent information processing.
Supported by:
National Natural Science Foundation of China(61802282);Special Project for Guiding Technological Innovation of Tianjin Science and Technology Program(20YDTPJC00670)

摘要/Abstract

摘要：

目前，知识图谱推荐的研究主要集中在模型建立和训练上。然而在实际应用中，需要使用增量更新方法定期更新模型来适应新用户和老用户偏好的改变。针对大部分该类模型仅利用用户的长期兴趣表示做推荐，而没有考虑用户的短期兴趣且聚合邻域实体得到项目向量表示时聚合方式的可解释性不足，以及更新模型的过程中存在灾难性遗忘的问题，提出基于知识图偏好注意力网络的长短期推荐（KGPATLS）模型及其更新方法。首先，通过KGPATLS模型提出偏好注意力网络的聚合方式以及结合用户长期兴趣和短期兴趣的用户表示方法；然后，为了缓解更新模型存在的灾难性遗忘问题，提出融合预测采样和知识蒸馏的增量更新方法（FPSKD）。将提出的KGPATLS模型和FPSKD方法在MovieLens-1M和Last.FM两个数据集上进行实验。相较于最优基线模型知识图谱卷积网络（KGCN），KGPATLS模型的曲线下面积（AUC）指标在两个数据集上分别有2.2%和1.4%的提升，准确率（Acc）指标分别有2.5%和2.9%的提升。在两个数据集上对比FPSKD与三个基线增量更新方法Fine Tune、Random Sampling、Full Batch，FPSKD在AUC和Acc指标上优于Fine Tune、Random Sampling，在训练时间指标上FPSKD分别降低到Full Batch的大约1/8和1/4。实验结果验证了KGPATLS模型的性能，而FPSKD在保持模型性能的同时可以高效地更新模型。

Abstract:

Current research on knowledge graph recommendation mainly focus on model establishment and training. However， in practical applications， it is necessary to update the model regularly by using incremental updating method to adapt to the changes of preferences of new and old users. Because most of these models only use the users’ long-term interest representations for recommendation， do not consider the users’ short-term interests， and during the aggregation of neighborhood entities to obtain the item vector representation， the interpretability of the aggregation methods is insufficient， and there is the problem of catastrophic forgetting in the process of updating the model， a Knowledge Graph Preference ATtention network based Long- and Short-term recommendation （KGPATLS） model and its updating method were proposed. Firstly， the aggregation method of preference attention network and the user representation method combining users’ long- and short-term interests were proposed through KGPATLS model. Then， in order to alleviate the catastrophic forgetting problem during model update， an incremental updating method Fusing Predict Sampling and Knowledge Distillation （FPSKD） was proposed. The proposed model and incremental updating method were tested on MovieLens-1M and Last.FM datasets. Compared with the optimal baseline model Knowledge Graph Convolutional Network （KGCN）， KGPATLS has the Area Under Curve （AUC） increased by 2.2% and 1.4% respectively and the Accuracy （Acc） increased by 2.5% and 2.9% on the two datasets respectively. Compared with three baseline incremental updating methods on the two datasets， the AUC and Acc indexes of FPSKD are better than those of Fine Tune and Random Sampling respectively， the training time index of FPSKD is reduced to about one eighth and one quarter of that of Full Batch respectively. Experimental results verify the performance of KGPATLS model and that FPSKD can update the model efficiently while maintaining the model performance.

Key words: long- and short-term recommendation model, knowledge graph preference attention network, incremental update, predict sampling, knowledge distillation

中图分类号:

TP181

顾军华, 樊帅, 李宁宁, 张素琪. 基于知识图偏好注意力网络的长短期推荐模型及其更新方法[J]. 计算机应用, 2022, 42(4): 1079-1086.

Junhua GU, Shuai FAN, Ningning LI, Suqi ZHANG. Long- and short-term recommendation model and updating method based on knowledge graph preference attention network[J]. Journal of Computer Applications, 2022, 42(4): 1079-1086.

图/表 13

参考文献 20

1	HU B B， SHI C， ZHAO W X， et al. Leveraging meta-path based context for top-N recommendation with a neural co-attention model［C］// Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2018：1531-1540. 10.1145/3219819.3219965
2	ZHANG F Z， YUAN N J， LIAN D F， et al. Collaborative knowledge base embedding for recommender systems［C］// Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2016：353-362. 10.1145/2939672.2939673
3	JU C H， WANG J， ZHOU G L. The commodity recommendation method for online shopping based on data mining［J］. Multimedia Tools and Applications， 2019， 78（21）： 30097-30110. 10.1007/s11042-018-6980-7
4	WU X K， CHENG B， CHEN J L. Collaborative filtering service recommendation based on a novel similarity computation method［J］. IEEE Transactions on Services Computing， 2017， 10（3）： 352-365. 10.1109/tsc.2015.2479228
5	XUE F， HE X N， WANG X， et al. Deep item-based collaborative filtering for top-N recommendation［J］. ACM Transactions on Information Systems， 2019， 37（3）： No.33. 10.1145/3314578
6	WANG X， WANG D X， XU C R， et al. Explainable reasoning over knowledge graphs for recommendation［C］// Proceedings of the 33rd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2019： 5329-5336. 10.1609/aaai.v33i01.33015329
7	WANG H W， ZHANG F Z， WANG J L， et al. RippleNet： propagating user preferences on the knowledge graph for recommender systems［C］// Proceedings of the 27th ACM International Conference on Information and Knowledge Management. New York： ACM， 2018： 417-426. 10.1145/3269206.3271739
8	WANG H W， ZHAO M， XIE X， et al. Knowledge graph convolutional networks for recommender systems［C］// Proceedings of the 2019 World Wide Web Conference. New York： ACM， 2019： 3307-3313. 10.1145/3308558.3313417
9	WANG X， HE X N， CAO Y X， et al. KGAT： knowledge graph attention network for recommendation［C］// Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2019： 950-958. 10.1145/3292500.3330989
10	KIRKPATRICK J， PASCANU R， RABINOWITZ N， et al. Overcoming catastrophic forgetting in neural networks［J］. Proceedings of the National Academy of Sciences of the United States of America， 2017， 114（13）： 3521-3526. 10.1073/pnas.1611835114
11	WANG Y C， GUO H F， TANG R M， et al. A practical incremental method to train deep CTR models［EB/OL］. （2020-09-04）［2021-05-20］..
12	CASTRO F M， MARÍN-JIMÉNEZ M J， GUIL N， et al. End-to-end incremental learning［C］// Proceedings of the 2018 European Conference on Computer Vision， LNCS 11216. Cham： Spring， 2018： 241-257.
13	沈学利，杜志伟. 融合自注意力机制与长短期偏好的序列推荐模型［J］. 计算机应用研究， 2021， 38（5）：1371-1375， 1380.
	SHEN X L， DU Z W. Sequential recommendation model that combines self-attention mechanism with long-term and short-term preferences［J］. Application Research of Computers， 2021， 38（5）：1371-1375， 1380.
14	顾军华，佘士耀，樊帅，等. 基于用户长短期兴趣与知识图卷积网络的推荐［J］. 计算机工程与科学， 2021， 43（3）：511-517. 10.3969/j.issn.1007-130X.2021.03.017
	GU J H， SHE S Y， FAN S， et al. Recommendation based on users’ long- and short-term preference and graph convolution network［J］. Computer Engineering and Science， 2021， 43（3）：511-517. 10.3969/j.issn.1007-130X.2021.03.017
15	MI F， LIN X Y， FALTINGS B. ADER： adaptively distilled exemplar replay towards continual learning for session-based recommendation［C］// Proceedings of 14th ACM Conference on Recommender Systems. New York： ACM， 2020： 408-413. 10.1145/3383313.3412218
16	XU Y S， ZHANG Y X， GUO W， et al. GraphSAIL： graph structure aware incremental learning for recommender systems［C］// Proceedings of the 29th ACM International Conference on Information and Knowledge Management. New York： ACM， 2020： 2861-2868. 10.1145/3340531.3412754
17	HUANG J， LING C X. Using AUC and accuracy in evaluating learning algorithms［J］. IEEE Transactions on Knowledge and Data Engineering， 2005， 17（3）： 299-310. 10.1109/tkde.2005.50
18	ZHANG C T， ZHANG R. Evaluation of gene-finding algorithms by a content-balancing accuracy index［J］. Journal of Biomolecular Structure and Dynamics， 2002， 19（6）： 1045-1052. 10.1080/07391102.2002.10506807
19	BORDEES A， USUNIER N， GARCIA-DURÁN A， et al. Translating embeddings for modeling multi-relational data［C］// Proceedings of the 26th International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2013： 2787-2795.
20	RENDLE S. Factorization machines with libFM［J］. ACM Transactions on Intelligent Systems and Technology， 2012， 3（3）： No.57. 10.1145/2168752.2168771

数据集	用户量	项目量	评分量	关系数	三元组数
MovieLens-1M	6 036	2 347	753 772	12	20 195
Last.FM	1 872	3 846	42 346	60	15 518

数据集	用户量	项目量	评分量	关系数	三元组数
MovieLens-1M	6 036	2 347	753 772	12	20 195
Last.FM	1 872	3 846	42 346	60	15 518

数据集	N	d	K	L	λ	lr	batch
MovieLens-1M	8	32	1	5	10^-5	2×10^-2	4 096
Last.FM	4	64	1	7	10^-4	5×10^-4	128

数据集	N	d	K	L	λ	lr	batch
MovieLens-1M	8	32	1	5	10^-5	2×10^-2	4 096
Last.FM	4	64	1	7	10^-4	5×10^-4	128

L	MovieLens-1M		Last.FM
L	AUC	Acc	AUC	Acc
3	0.919	0.843	0.796	0.732
5	0.923	0.849	0.797	0.735
7	0.920	0.845	0.805	0.740
9	0.922	0.847	0.800	0.734
11	0.921	0.848	0.796	0.734

基于知识图偏好注意力网络的长短期推荐模型及其更新方法

Long- and short-term recommendation model and updating method based on knowledge graph preference attention network

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 13

参考文献 20

相关文章 15

编辑推荐

Metrics

模型	MovieLens-1M		Last.FM
模型	AUC	Acc	AUC	Acc
CKE	0.801	0.817	0.744	0.673
LibFM	0.892	0.812	0.778	0.710
RippleNet	0.901	0.820	0.780	0.718
KGCN	0.903	0.828	0.794	0.719
KGPATLS	0.923	0.849	0.805	0.740

数据集	N	d	K	L	λ₁	λ₂	lr	batch
MovieLens-1M	4	32	1	5	2×10^-5	0.5	2×10^-4	256
Last.FM	8	16	1	4	10^-4	0.5	5×10^-4	128

数据集	方法	AUC	Acc	Training Time ⁱ /s
MovieLens-1M	FT	0.880 4	0.798 9	1 117
	RS	0.880 2	0.799 4	1 245
	FPSKD	0.880 8	0.800 0	1 280
	FB	0.880 6	0.800 3	11 160
Last.FM	FT	0.795 8	0.732 7	14
	RS	0.796 1	0.732 2	18
	FPSKD	0.796 8	0.736 3	28
	FB	0.799 8	0.740 4	135

数据集	方法	AUC	Acc
MovieLens-1M	PA	0.880 5	0.799 3
	PI	0.879 7	0.799 6
	PS	0.880 5	0.799 4
	FPSKD	0.880 8	0.800 0
Last.FM	PA	0.796 8	0.730 7
	PI	0.794 4	0.733 7
	PS	0.796 9	0.732 5
	FPSKD	0.797 4	0.736 3

[1]	张成, 万源, 强浩鹏. 基于知识蒸馏的深度无监督离散跨模态哈希[J]. 计算机应用, 2021, 41(9): 2523-2531.
[2]	黄继爽, 张华, 李永龙, 赵皓, 王皓冉, 冯春成. 基于动态特征蒸馏的水工隧洞缺陷识别方法[J]. 计算机应用, 2021, 41(8): 2358-2365.
[3]	戴朝霞, 曹堉栋, 朱光明, 沈沛意, 徐旭, 梅林, 张亮. 基于知识蒸馏的特定知识学习[J]. 《计算机应用》唯一官方网站, 2021, 41(12): 3426-3431.
[4]	刘太亨, 何昭水. 基于自编码和知识蒸馏的表面缺陷检测方法[J]. 《计算机应用》唯一官方网站, 2021, 41(11): 3200-3205.
[5]	魏淳武, 赵涓涓, 唐笑先, 强彦. 基于多时期蒸馏网络的随访数据知识提取方法[J]. 计算机应用, 2021, 41(10): 2871-2878.
[6]	邓棋, 雷印杰, 田锋. 用于肺炎图像分类的优化卷积神经网络方法[J]. 计算机应用, 2020, 40(1): 71-76.
[7]	高钦泉, 赵岩, 李根, 童同. 基于知识蒸馏的超分辨率卷积神经网络压缩方法[J]. 计算机应用, 2019, 39(10): 2802-2808.
[8]	张亚玲, 王婷, 王尚平. 增量式隐私保护频繁模式挖掘算法[J]. 计算机应用, 2018, 38(1): 176-181.
[9]	董林舒红. 空间关联规则的增量维护[J]. 计算机应用, 2013, 33(11): 3049-3051.
[10]	黄叶珏郑河荣. 基于在线多示例提升随机蕨丛的目标跟踪[J]. 计算机应用, 2012, 32(11): 3178-3184.
[11]	周顺平柳怀颖. 基于概率及复合指标的矢量数据对比[J]. 计算机应用, 2010, 30(10): 2602-2604.
[12]	郭鑫黄云颜一鸣周清平. 一种新的频繁子树增量式更新方法[J]. 计算机应用, 2010, 30(05): 1300-1303.
[13]	徐文杰陈庆奎. 增量更新并行Web爬虫系统[J]. 计算机应用, 2009, 29(4): 1117-1119.
[14]	曾小宁肖水晶. 一种增量更新算法在数据挖掘中的应用[J]. 计算机应用, 2007, 27(6): 1403-1406.
[15]	商志会，陶树平. 一种高效的关联规则增量更新算法[J]. 计算机应用, 2005, 25(04): 830-832.