基于改进胶囊网络的会话型推荐模型

doi:10.11772/j.issn.1001-9081.2022040481

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (4): 1043-1049.DOI: 10.11772/j.issn.1001-9081.2022040481

• 人工智能 • 上一篇

基于改进胶囊网络的会话型推荐模型

孙浩¹^,²(), 曹健¹^,², 李海生¹^,², 毛典辉¹^,²

^1.北京工商大学计算机学院，北京 100048
^2.食品安全大数据技术北京市重点实验室（北京工商大学），北京 100048

收稿日期:2022-04-14 修回日期:2022-08-02 接受日期:2022-08-03 发布日期:2022-09-27 出版日期:2023-04-10
通讯作者: 孙浩
作者简介:曹健（1982—），男，山东临沂人，副教授，博士，主要研究方向：机器学习、图像处理；
李海生（1974－），男，山东德州人，教授，博士生导师，博士，CCF会员，主要研究方向：机器学习、图形学；
毛典辉（1979－），男，湖北浠水人，教授，博士生导师，博士，主要研究方向：人工智能、区块链。
基金资助:
国家自然科学基金资助项目(61877002);北京市教委-市自然基金委联合资助项目(KZ202110011017);北京市自然科学基金-丰台轨道交通前沿研究联合基金资助项目(L191009)

Session-based recommendation model based on enhanced capsule network

Hao SUN¹^,²(), Jian CAO¹^,², Haisheng LI¹^,², Dianhui MAO¹^,²

^1.School of Computer Science and Engineering，Beijing Technology and Business University，Beijing 100048，China
^2.Beijing Key Laboratory of Big Data Technology for Food Safety （Beijing Technology and Business University），Beijing 100048，China

Received:2022-04-14 Revised:2022-08-02 Accepted:2022-08-03 Online:2022-09-27 Published:2023-04-10
Contact: Hao SUN
About author:CAO Jian， born in 1982， Ph. D.， associate professor. His research interests include machine learning， image processing.
LI Haisheng， born in 1974， Ph. D.， professor. His research interests include machine learning， graphics.
MAO Dianhui， born in 1979， Ph. D.， professor. His research interests include artificial intelligence， blockchain.
Supported by:
National Natural Science Foundation of China(61877002);Program Jointly Funded by Beijing Municipal Education Commission and Beijing Natural Science Foundation(KZ202110011017);Beijing Natural Science Foundation and Fengtai Rail Transit Frontier Research Fund(L191009)

摘要/Abstract

摘要：

针对现有的会话型推荐模型难以从简短的会话中捕获项目之间的依赖关系的问题，在考虑了复杂的项目交互和动态的用户兴趣变化后，提出了一种基于会话型推荐的改进胶囊网络（SR-ECN）模型。首先，利用图神经网络（GNN）处理会话序列数据，以得到每个项目嵌入向量；然后，利用胶囊网络的动态路由机制，从交互历史中聚合高级用户的偏好；此外，所提模型引入自注意力网络进一步考虑用户和项目的潜在信息，从而为用户推荐更合适的项目。实验结果表明，在Yoochoose数据集上，所提模型的召回率和平均倒数排名（MRR）均优于SR-GNN（Session-based Recommendation with GNN）、TAGNN（Target Attentive GNN）等所有对比模型，与基于无损边缘保留聚合和快捷图注意力的推荐（LESSR）模型相比，所提模型的召回率和MRR分别提升了0.92和0.45个百分点，验证了改进胶囊网络对用户兴趣偏好提取的有效性。

Abstract:

Aiming at the dependencies between items are difficult to be captured by the present session-based recommendation models from short sessions， with complex item interactions and dynamic user interest changes considered， a Session-based Recommendation of Enhanced Capsule Network （SR-ECN） model was proposed. First， session sequence data was processed by using the Graph Neural Network （GNN） to obtain embedded vector of each item. Then， the dynamic routing mechanism of the capsule network was used to aggregate high-level user preferences from the interaction history. In addition， a self-attention network was introduced by the proposed model to further consider potential information about users and items， thereby recommending more suitable items for users. Experimental results show that， on Yoochoose dataset， the proposed model is superior to all comparison models such as Session-based Recommendation with GNN （SR-GNN）， Target Attentive GNN （TAGNN）， and the proposed model improves 0.92 and 0.45 percentage points compared to the Lossless Edge-order preserving aggregation and Shortcut graph attention for Session-based Recommendation （LESSR） model in terms of recommendation recall and Mean Reciprocal Rank （MRR） respectively.

Key words: capsule network, session-based recommendation, Graph Neural Network (GNN), self-attention mechanism, recommender system

中图分类号:

TP391

孙浩, 曹健, 李海生, 毛典辉. 基于改进胶囊网络的会话型推荐模型[J]. 计算机应用, 2023, 43(4): 1043-1049.

Hao SUN, Jian CAO, Haisheng LI, Dianhui MAO. Session-based recommendation model based on enhanced capsule network[J]. Journal of Computer Applications, 2023, 43(4): 1043-1049.

图/表 10

图1 SR-ECN模型结构

Fig. 1 Structure of SR-ECN model

图2 会话图结构

Fig. 2 Structure of session graph

图3 节点连接关系矩阵

Fig. 3 Node connection relationship matrix

表1 数据集统计信息

Tab. 1 Dataset statistics

数据集	点击数	会话数		物品数
数据集	点击数	训练集	测试集	物品数
Yoochoose 1/64	557 248	369 859	55 898	16 766
Diginetica	982 961	719 470	60 858	43 097

表2 SR-ECN与基线模型的性能比较 (%)

Tab. 2 Performance comparison of the proposed model and baseline models

模型	Yoochoose 1/64		Diginetica
模型	R@20	MRR@20	R@20	MRR@20
Item-KNN	51.60	21.81	35.75	11.57
GRU4Rec	60.64	22.89	29.45	8.33
NARM	68.32	28.63	49.70	16.17
STAMP	68.74	29.67	45.64	14.32
SR-GNN	70.57	30.94	50.73	17.59
GC-SAN	69.64	29.85	49.12	15.44
TAGNN	71.02	31.12	51.31	18.03
LESSR	70.64	30.97	51.71	18.15
SR-ECN	71.56	31.42	52.07	18.12

表3 消融实验中SR-ECN模型以及变体的性能比较 (%)

Tab. 3 Performance comparison of SR-ECN model and its variants in ablation study

模型	Yoochoose 1/64		Diginetica
模型	R@20	MRR@20	R@20	MRR@20
SR-ECN_baseCapsule	70.62	30.34	50.39	17.21
SR-ECN_baseAttention	69.15	29.61	49.01	15.27
SR-ECN	71.56	31.42	52.07	18.12

图4 不同注意力头数的模型性能比较

Fig. 4 Comparison of model performance with different numbers of attention heads

图5 不同嵌入维度的模型性能比较

Fig. 5 Comparison of model performance with different embedding dimensions

图6 不同前馈网络层数的模型性能比较

Fig. 6 Comparison of model performance with different feedforward network layers

图7 不同胶囊个数的模型性能比较

Fig. 7 Comparison of model performance with different numbers of capsules

参考文献 40

1	HU Y F， KOREN Y， VOLINSKY C. Collaborative filtering for implicit feedback datasets［C］// Proceedings of the 8th IEEE International Conference on Data Mining. Piscataway： IEEE， 2008： 263-272. 10.1109/icdm.2008.22
2	KOREN Y. Factorization meets the neighborhood： a multifaceted collaborative filtering model［C］// Proceedings of the 14th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2008： 426-434. 10.1145/1401890.1401944
3	KOREN Y， BELL R， VOLINSKY C. Matrix factorization techniques for recommender systems［J］. Computer， 2009， 42（8）： 30-37. 10.1109/mc.2009.263
4	CHEN C L， CHANG C H. Evaluation of session-based recommendation systems for social networks［C］// Proceedings of the IEEE 13th International Conference on Data Mining Workshops. Piscataway： IEEE， 2013： 758-765. 10.1109/icdmw.2013.86
5	LAMBRIX P， KALIYAPERUMAL R. A session-based approach for aligning large ontologies［C］// Proceedings of the 2013 Extended Semantic Web Conference， LNCS 7882. Berlin： Springer， 2013： 46-60.
6	CHEN C L， CHANG C H. Session-based recommendation — case study on Tencent Weibo［C］// Proceedings of the 2013 Conference on Technologies and Applications of Artificial Intelligence. Piscataway： IEEE， 2013： 205-210. 10.1109/taai.2013.49
7	RENDLE S， FREUDENTHALER C， SCHMIDT-THIEME L. Factorizing personalized Markov chains for next-basket recommendation［C］// Proceedings of the 19th International Conference on World Wide Web. New York： ACM， 2010： 811-820. 10.1145/1772690.1772773
8	WANG P F， GUO J F， LAN Y Y， et al. Learning hierarchical representation model for next basket recommendation［C］// Proceedings of the 38th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2015： 403-412. 10.1145/2766462.2767694
9	HE R N， McAULEY J. Fusing similarity models with Markov chains for sparse sequential recommendation［C］// Proceedings of the IEEE 16th International Conference on Data Mining. Piscataway： IEEE， 2016： 191-200. 10.1109/icdm.2016.0030
10	LeCUN Y， BENGIO Y， HINTON G. Deep learning［J］. Nature， 2015， 521（7553）： 436-444. 10.1038/nature14539
11	陈聪，张伟，王骏. 带有时间预测辅助任务的会话式序列推荐［J］. 计算机学报， 2021， 44（9）：1841-1853. 10.11897/SP.J.1016.2021.01841
	CHEN C， ZHANG W， WANG J. Session-based sequential recommendation with auxiliary time prediction［J］. Chinese Journal of Computers， 2021， 44（9）：1841-1853. 10.11897/SP.J.1016.2021.01841
12	WANG S J， CAO L B， WANG Y， et al. A survey on session-based recommender systems［J］. ACM Computing Surveys， 2022， 54（7）： No.154. 10.1145/3465401
13	SABOUR S， FROSST N， HINTON G E. Dynamic routing between capsules［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 3859-3869.
14	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need［C］// Proceedings of 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 6000-6010.
15	HE X N， ZHANG H W， KAN M Y， et al. Fast matrix factorization for online recommendation with implicit feedback［C］// Proceedings of the 39th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2016： 549-558. 10.1145/2911451.2911489
16	SARWAR B， KARYPIS G， KONSTAN J， et al. Item-based collaborative filtering recommendation algorithms［C］// Proceedings of the 10th International Conference on World Wide Web. New York： ACM， 2001： 285-295. 10.1145/371920.372071
17	BONNIN G， JANNACH D. Automated generation of music playlists： survey and experiments［J］. ACM Computing Surveys， 2015， 47（2）： No.26. 10.1145/2652481
18	HIDASI B， KARATZOGLOU A， BALTRUNAS L， et al. Session-based recommendations with recurrent neural networks［EB/OL］. （2016-03-29）［2020-03-14］..
19	LI J， REN P J， CHEN Z M， et al. Neural attentive session-based recommendation［C］// Proceedings of the 2017 ACM Conference on Information and Knowledge Management. New York： ACM， 2017： 1419-1428. 10.1145/3132847.3132926
20	KANG W C， McAULEY J. Self-attentive sequential recommendation［C］// Proceedings of the 2018 IEEE International Conference on Data Mining. Piscataway： IEEE， 2018： 197-206. 10.1109/icdm.2018.00035
21	LIU Q， ZENG Y F， MOKHOSI R， et al. STAMP： short-term attention/memory priority model for session-based recommendation［C］// Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2018： 1831-1839. 10.1145/3219819.3219950
22	SCARSELLI F， GORI M， TSOI A C， et al. The graph neural network model［J］. IEEE Transactions on Neural Networks， 2009， 20（1）： 61-80. 10.1109/tnn.2008.2005605
23	GILMER J， SCHOENHOLZ S S， RILEY P F， et al. Neural message passing for quantum chemistry［C］// Proceedings of the 34th International Conference on Machine Learning. New York： JMLR.org， 2017： 1263-1272.
24	FOUT A， BYRD J， SHARIAT B， et al. Protein interface prediction using graph convolutional networks［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 6533-6542.
25	XU C F， ZHAO P P， LIU Y C， et al. Graph contextualized self-attention network for session-based recommendation［C］// Proceedings of the 28th International Joint Conference on Artificial Intelligence. California： ijcai.org， 2019： 3940-3946. 10.24963/ijcai.2019/547
26	曾义夫，牟其林，周乐，等. 基于图表示学习的会话感知推荐模型［J］. 计算机研究与发展， 2020， 57（3）：590-603. 10.7544/issn1000-1239.2020.20190188
	ZENG Y F， MU Q L， ZHOU L， et al. Graph embedding based session perception model for next-click recommendation［J］. Journal of Computer Research and Development， 2020， 57（3）： 590-603. 10.7544/issn1000-1239.2020.20190188
27	南宁，杨程屹，武志昊. 基于多图神经网络的会话感知推荐模型［J］. 计算机应用， 2021， 41（2）：330-336. 10.11772/j.issn.1001-9081.2020060805
	NAN N， YANG C Y， WU Z H. Multi-graph neural network-based session perception recommendation model［J］. Journal of Computer Applications， 2021， 41（2）：330-336. 10.11772/j.issn.1001-9081.2020060805
28	胡承佐，王庆梅，李迪超，等. 基于复杂结构信息的图神经网络序列推荐算法［J］. 计算机工程， 2022， 48（5）：82-90， 97.
	HU C Z， WANG Q M， LI D C， et al. Sequence recommendation algorithm of graph neural networks based on complex structure information［J］. Computer Engineering， 2022， 48（5）：82-90， 97.
29	何倩倩，孙静宇，曾亚竹. 基于邻域感知图神经网络的会话推荐［J］. 计算机工程与应用， 2022， 58（9）：107-115. 10.3778/j.issn.1002-8331.2105-0241
	HE Q Q， SUN J Y， ZENG Y Z. Neighborhood awareness graph neural networks for session-based recommendation［J］. Computer Engineering and Applications， 2022， 58（9）：107-115. 10.3778/j.issn.1002-8331.2105-0241
30	WU S， TANG Y Y， ZHU Y Q， et al. Session-based recommendation with graph neural networks［C］// Proceedings of the 33rd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2019： 346-353. 10.1609/aaai.v33i01.3301346
31	YING R， HE R N， CHEN K F， et al. Graph convolutional neural networks for web-scale recommender systems［C］// Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2018： 974-983. 10.1145/3219819.3219890
32	YU F， ZHU Y Q， LIU Q， et al. TAGNN： target attentive graph neural networks for session-based recommendation［C］// Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2020： 1921-1924. 10.1145/3397271.3401319
33	HINTON G E， KRIZHEVSKY A， WANG S D. Transforming auto-encoders［C］// Proceedings of the 2011 International Conference on Artificial Neural Networks， LNCS 6791. Berlin： Springer， 2011： 44-51.
34	ZHANG X Y， CHEN L H. Capsule graph neural network［EB/OL］. （2022-02-10）［2020-03-14］..
35	高铭蔚，桑楠，杨茂林. 基于胶囊网络的交互式网络电视视频点播推荐模型［J］. 计算机应用， 2021， 41（11）：3171-3177. 10.11772/j.issn.1001-9081.2021010047
	GAO M W， SANG N， YANG M L. IPTV video-on-demand recommendation model based on capsule network［J］. Journal of Computer Applications， 2021， 41（11）：3171-3177. 10.11772/j.issn.1001-9081.2021010047
36	LIU P Z， YU W. CapsRec： a capsule graph neural network model for social recommendation［C］// Proceedings of the IEEE 33rd International Conference on Tools with Artificial Intelligence. Piscataway： IEEE， 2021： 359-363. 10.1109/ictai52525.2021.00058
37	LIANG T T， XIA C Y， YIN Y Y， et al. Joint training capsule network for cold start recommendation［C］// Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2020： 1769-1772. 10.1145/3397271.3401243
38	LI C L， QUAN C， PENG L， et al. A capsule network for recommendation and explaining what you like and dislike［C］// Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2019： 275-284. 10.1145/3331184.3331216
39	TAN Y K， XU X X， LIU Y. Improved recurrent neural networks for session-based recommendations［C］// Proceedings of the 1st Workshop on Deep Learning for Recommender Systems. New York： ACM， 2016： 17-22. 10.1145/2988450.2988452
40	CHEN T W， WONG R C W. Handling information loss of graph neural networks for session-based recommendation［C］// Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2020： 1172-1180. 10.1145/3394486.3403170

[1]	李路宝, 陈田, 任福继, 罗蓓蓓. 基于图神经网络和注意力的双模态情感识别方法[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 700-705.
[2]	王雨, 袁玉波, 过弋, 张嘉杰. 情感增强的对话文本情绪识别模型[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 706-712.
[3]	吕学强, 张煜楠, 韩晶, 崔运鹏, 李欢. 融合边特征与注意力的表格结构识别模型[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 752-758.
[4]	姚华勇, 叶东毅, 陈昭炯. 考虑多粒度反馈的多轮对话强化学习推荐算法[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 15-21.
[5]	张军, 吴朋莉, 石陆魁, 史进, 潘斌. 联合MOD11A1和地面气象站点数据的多站点温度预测深度学习模型[J]. 《计算机应用》唯一官方网站, 2023, 43(1): 321-328.
[6]	杜航原, 郝思聪, 王文剑. 结合图自编码器与聚类的半监督表示学习方法[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2643-2651.
[7]	李晓寒, 王俊, 贾华丁, 萧刘. 基于多重注意力机制的图神经网络股市波动预测方法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2265-2273.
[8]	陈恒, 王思懿, 李正光, 李冠宇, 刘鑫. 基于关系记忆的胶囊网络知识图谱嵌入模型[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 1985-1992.
[9]	左亚尧, 陈皓宇, 陈致然, 洪嘉伟, 陈坤. 融合多语义特征的命名实体识别方法[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2001-2008.
[10]	于蒙, 何文涛, 周绪川, 崔梦天, 吴克奇, 周文杰. 推荐系统综述[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1898-1913.
[11]	周嘉凡, 杜岳峰, 宋宝燕, 李晓光, 赵阿珠, 肖绪界. 基于元路径注意力机制的MOOC视频推荐方法[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1808-1813.
[12]	李晓寒, 贾华丁, 程雪, 李太勇. 基于改进遗传算法和图神经网络的股市波动预测方法[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1624-1633.
[13]	任炜, 白鹤翔. 基于全局与局部标签关系的多标签图像分类方法[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1383-1390.
[14]	胡鹤轩, 隋华超, 胡强, 张晔, 胡震云, 马能武. 基于图注意力网络与双阶注意力机制的径流预报模型[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1607-1615.
[15]	王利娥, 李小聪, 刘红翼. 融合知识图谱和差分隐私的新闻推荐方法[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1339-1346.

基于改进胶囊网络的会话型推荐模型

Session-based recommendation model based on enhanced capsule network

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 40

相关文章 15

编辑推荐

Metrics