融合成对编码方案及二维卷积神经网络的长短期会话推荐算法

doi:10.11772/j.issn.1001-9081.2021030467

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (5): 1347-1354.DOI: 10.11772/j.issn.1001-9081.2021030467

融合成对编码方案及二维卷积神经网络的长短期会话推荐算法

陈学勤, 陶涛, 张钟旺, 王一蕾()

福州大学数学与计算机科学学院，福州 350108

收稿日期:2021-03-29 修回日期:2021-07-01 接受日期:2021-07-05 发布日期:2022-06-11 出版日期:2022-05-10
通讯作者: 王一蕾
作者简介:陈学勤（1997—），男，福建福州人，硕士研究生，主要研究方向：个性化推荐
陶涛（1995—），男，江西抚州人，硕士研究生，主要研究方向：个性化推荐
张钟旺（1997—），男，福建三明人，硕士研究生，主要研究方向：个性化推荐
王一蕾（1979—），女，福建福州人，副教授，博士，CCF会员，主要研究方向：文本挖掘、数据安全、隐私保护。 714867833@qq.com
基金资助:
福建省自然科学基金资助项目(2018J01799)

Long short-term session-based recommendation algorithm combining paired coding scheme and two-dimensional conventional neural network

Xueqin CHEN, Tao TAO, Zhongwang ZHANG, Yilei WANG()

College of Mathematics and Computer Science，Fuzhou University，Fuzhou Fujian 350108，China

Received:2021-03-29 Revised:2021-07-01 Accepted:2021-07-05 Online:2022-06-11 Published:2022-05-10
Contact: Yilei WANG
About author:CHEN Xueqin， born in 1997，M. S. candidate. His researchinterests include personalized recommendation.
TAO Tao， born in 1995，M. S. candidate. His research interestsinclude personalized recommendation.
ZHANG Zhongwang， born in 1997，M. S. candidate. His researchinterests include personalized recommendation.
WANG Yilei， born in 1979，Ph. D.，associate professor. Herresearch interests include text mining，data security，privacy protection.
Supported by:
Natural Science Foundation of Fujian Province(2018J01799)

摘要/Abstract

摘要：

虽然基于循环神经网络（RNN）的会话推荐算法可以有效地对会话中的长期依赖关系进行建模，并且可以结合注意力机制来刻画用户在会话中的主要目的，但它在进行会话建模的过程中无法绕过与用户主要目的不相关的物品，易受其影响以致降低推荐精度。针对上述问题，设计了成对编码方案来将原始输入序列嵌入向量转化为一个三维张量表示，使得非相邻的行为也能够产生联系。通过二维卷积神经网络（CNN）来处理该张量以捕获非相邻物品间的联系，并提出了引入用于会话推荐的二维卷积神经网络的神经注意力推荐机（COS-NARM）模型。该模型能有效跳过序列中与用户主要目的不相关的物品。实验结果表明，COS-NARM模型在DIGINETICA等多个真实数据集上的召回率和平均倒数排名（MRR）都得到了不同程度的提升，且优于NARM、GRU-4Rec+等所有基线模型。在上述研究的基础上，将欧氏距离引入COS-NARM模型，提出了OCOS-NARM模型。利用欧氏距离直接计算不同时刻兴趣间的相似度以减少模型的参数，降低模型的复杂度。实验结果表明，欧氏距离的引入不仅使得OCOS-NARM模型在DIGINETICA等多个真实数据集上的推荐效果得到了进一步的提升，而且使OCOS-NARM模型的训练时间相较COS-NARM模型缩短了14.84%，有效提高了模型的训练速度。

Abstract:

The session-based recommendation algorithm based on Recurrent Neural Network （RNN） can effectively model the long-term dependency in the session， and can combine the attention mechanism to describe the main purpose of the user in the session. However， it cannot bypass the items that are not related to the user’s main purpose in the process of session modeling， and is susceptible to their influence to reduce the recommendation accuracy. In order to solve problems， a new paired coding scheme was designed， which transformed the original input sequence embedding vector into a three-dimensional tensor representation， so that non-adjacent behaviors were also able to be linked. The tensor was processed by a two-dimensional Conventional Neural Network （CNN） to capture the relationship between non-adjacent items， and a Neural Attentive Recommendation Machine introducing two-dimensional COnvolutional neural network for Session-based recommendation （COS-NARM） model was proposed. The proposed model was able to effectively skip items that were not related to the user’s main purpose in the sequence. Experimental results show that the recall and Mean Reciprocal Rank （MRR） of the COS-NARM model on multiple real datasets such as DIGINETICA are improved to varying degrees， and they are better than those of all baseline models such as NARM and GRU-4Rec+. On the basis of the above research， Euclidean distance was introduced into the COS-NARM model， and the OCOS-NARM model was proposed. Euclidean distance was used to directly calculate the similarity between interests at different times to reduce the parameters of model and reduce the complexity of model. Experimental results show that the introduction of Euclidean distance further improves the recommendation effect of the OCOS-NARM model on multiple real datasets such as DIGINETICA， and makes the training time of the OCOS-NARM model shortened by 14.84% compared with that of the COS-NARM model， effectively improving the training speed of model.

Key words: session-based recommendation, Recurrent Neural Network (RNN), paired coding, Conventional Neural Network (CNN), Euclidean distance

中图分类号:

TP183

陈学勤, 陶涛, 张钟旺, 王一蕾. 融合成对编码方案及二维卷积神经网络的长短期会话推荐算法[J]. 计算机应用, 2022, 42(5): 1347-1354.

Xueqin CHEN, Tao TAO, Zhongwang ZHANG, Yilei WANG. Long short-term session-based recommendation algorithm combining paired coding scheme and two-dimensional conventional neural network[J]. Journal of Computer Applications, 2022, 42(5): 1347-1354.

图/表 9

图1 NARM模型的结构

Fig. 1 Structure of NARM model

表1 二维卷积神经网络的结构

Tab. 1 Structure of two-dimensional CNN

层次	输出尺寸	卷积核大小
一号卷积块的一级卷积层	$D 1 × 5 × 5$	$1 × 1$
一号卷积块的二级卷积层	$D 1 × 3 × 3$	$3 × 3$
二号卷积块的一级卷积层	$D 2 × 3 × 3$	$1 × 1$
二号卷积块的二级卷积层	$D 2 × 1 × 1$	$3 × 3$

表1 二维卷积神经网络的结构

Tab. 1 Structure of two-dimensional CNN

层次	输出尺寸	卷积核大小
一号卷积块的一级卷积层	$D 1 × 5 × 5$	$1 × 1$
一号卷积块的二级卷积层	$D 1 × 3 × 3$	$3 × 3$
二号卷积块的一级卷积层	$D 2 × 3 × 3$	$1 × 1$
二号卷积块的二级卷积层	$D 2 × 1 × 1$	$3 × 3$

图2 COS-NARM模型的全局编码器

Fig. 2 Global encoder of COS-NARM model

表2 不同数据集的统计数据

Tab. 2 Statistics of different datasets

数据集	点击总数	训练集会话总数	物品总数	平均长度	测试集会话总数
YOOCHOOSE 1/64	557 248	369 859	16 766	6.16	55 898
YOOCHOOSE 1/4	8 326 407	5 917 746	29 618	5.71	55 898
DIGINETICA	982 961	719 470	43 097	5.12	60 858

表3 不同模型的Recall@20和MRR@20 ( %)

Tab. 3 Recall@20 and MRR@20 of different models

模型	YOOCHOOSE 1/64		YOOCHOOSE 1/4		DIGINETICA
模型	Recall@20	MRR@20	Recall@20	MRR@20	Recall@20	MRR@20
POP	6.71	1.65	1.33	0.30	0.91	0.23
S-POP	30.44	18.35	27.08	17.75	21.07	14.69
Item-KNN	51.60	21.81	52.31	21.70	28.35	9.45
BPR-MF	31.31	12.08	3.40	1.57	15.19	8.63
GRU-4Rec	60.64	22.89	59.53	22.60	43.82	15.46
2D CNN	61.01	21.63	62.29	20.78	44.74	18.29
GRU-4Rec+	67.84	29.00	69.11	29.22	57.95	24.93
NARM	68.32	28.76	69.73	29.23	62.58	27.35
DCOS-NARM	67.12	28.47	69.62	29.18	62.05	27.18
COS-NARM	69.01	29.46	71.10	31.66	63.40	28.31

表4 不同模型与NARM模型在Recall@20和MRR@20上的比较

Tab. 4 Comparison of different models and NARM model on Recall@20 and MRR@20

数据集	模型	Recall@20提升百分比/%	MRR@20提升百分比/%	Recall@20降低百分比/%	MRR@20降低百分比/%
YOOCHOOSE 1/64	COS-NARM	1.01	2.43	—	—
YOOCHOOSE 1/64	DCOS-NARM	—	—	1.76	1.01
YOOCHOOSE 1/4	COS-NARM	1.96	8.31	—	—
YOOCHOOSE 1/4	DCOS-NARM	—	—	0.16	0.17
DIGINETICA	COS-NARM	1.31	3.51	—	—
DIGINETICA	DCOS-NARM	—	—	0.85	0.62

表5 不同数据集的点击总数

Tab. 5 Total number of clicks of different datasets

数据集	数据集的点击总数
YOOCHOOSE 1/64	557 248
YOOCHOOSE 1/4	8 326 407
DIGINETICA	982 961

表6 四种模型的Recall@20和MRR@20 ( %)

Tab. 6 Recall@20 and MRR@20 of four models

模型	YOOCHOOSE 1/64		YOOCHOOSE 1/4		DIGINETICA
模型	Recall@20	MRR@20	Recall@20	MRR@20	Recall@20	MRR@20
NARM	68.32	28.76	69.73	29.23	62.58	27.35
COS-NARM	69.01	29.46	71.10	31.66	63.40	28.31
O-NARM	68.71	28.98	70.02	29.52	62.71	27.54
OCOS-NARM	69.25	30.39	71.29	31.93	63.58	28.76

表7 在YOOCHOOSE 1/4数据集上不同模型的训练时间

Tab. 7 Training time of different models on YOOCHOOSE 1/4 dataset

模型	训练时间/min
NARM	985
O-NARM	826
COS-NARM	3 067
OCOS-NARM	2 612

参考文献 17

1	毛勇华，桂小林，李前，等.深度学习应用技术研究［J］.计算机应用研究，2016，33（11）：3201-3205. 10.3969/j.issn.1001-3695.2016.11.001
	MAO Y H， GUI X L， LI Q， et al. Study on application technology of deep learning ［J］. Application Research of Computers， 2016， 33（11）： 3201-3205. 10.3969/j.issn.1001-3695.2016.11.001
2	刘浩翰，吕鑫，李建伏.考虑用户意图和时间间隔的会话型深度学习推荐系统［J］.计算机应用与软件，2021，38（3）：190-195，223. 10.3969/j.issn.1000-386x.2021.03.029
	LIU H H， LYU X， LI J F. A session-based deep learning recommendation system considering user purpose and time interval ［J］. Computer Applications and Software， 2021， 38（3）： 190-195， 223. 10.3969/j.issn.1000-386x.2021.03.029
3	HIDASI B， KARATZOGLOU A， BALTRUNAS L， et al. Session-based recommendations with recurrent neural networks ［EB/OL］. ［2021-02-12］. . 10.1145/3269206.3271761
4	DADOUN A， TRONCY R. Many-to-one recurrent neural network for session-based recommendation ［EB/OL］. ［2021-02-12］. . 10.1016/j.neucom.2021.01.041
5	BACH N X， LONG D H， PHUONG T M. Recurrent convolutional networks for session-based recommendations ［J］. Neurocomputing， 2020， 411： 247-258. 10.1016/j.neucom.2020.06.077
6	QUADRANA M， KARATZOGLOU A， HIDASI B， et al. Personalizing session-based recommendations with hierarchical recurrent neural networks ［C］// Proceedings of the 2017 11th ACM Conference on Recommender Systems. New York： ACM， 2017： 130-137. 10.1145/3109859.3109896
7	HIDASI B， KARATZOGLOU A. Recurrent neural networks with top-k gains for session-based recommendations ［C］// Proceedings of the 2018 27th ACM International Conference on Information and Knowledge Management. New York： ACM， 2018： 843-852. 10.1145/3269206.3271761
8	SONG Y， LEE J G. Augmenting recurrent neural networks with high-order user-contextual preference for session-based recommendation ［EB/OL］. ［2021-02-12］. . 10.48550/arXiv.1805.02983
9	LI J， REN P J， CHEN Z M， et al. Neural attentive session-based recommendation ［C］// Proceedings of the 2017 ACM Conference on Information and Knowledge Management. New York： ACM， 2017： 1419-1428. 10.1145/3132847.3132926
10	YIN W P， KANN K， YU M， et al. Comparative study of CNN and RNN for natural language processing ［EB/OL］. ［2021-02-12］. .
11	DHYANI M， KUMAR R. An intelligent Chatbot using deep learning with Bidirectional RNN and attention model ［J］. Materials Today： Proceedings， 2021， 34（Pt 3）： 817-824. 10.1016/j.matpr.2020.05.450
12	TANG J X， WANG K. Personalized top-N sequential recommendation via convolutional sequence embedding ［C］// Proceedings of the 2018 11th ACM International Conference on Web Search and Data Mining. New York： ACM， 2018： 565-573. 10.1145/3159652.3159656
13	BOGINA V， KUFLIK T. Incorporating dwell time in session-based recommendations with recurrent neural networks ［C］// Proceedings of the 2017 1st Workshop on Temporal Reasoning in Recommender Systems Co-located with 11th International Conference on Recommender Systems. Aachen： CEUR-WS.org， 2017： 57-59.
14	MOREIRA G S P， JANNACH D， CUNHA A M DA. Hybrid session-based news recommendation using recurrent neural networks ［EB/OL］. ［2021-02-12］. . 10.1109/access.2019.2954957
15	WANG Y Q， GUO C L， CHU Y F， et al. A cross-domain hierarchical recurrent model for personalized session-based recommendations ［J］. Neurocomputing， 2020， 380： 271-284. 10.1016/j.neucom.2019.11.013
16	BEHRENS T， SCHMIDT K， VISCARRA ROSSEL R A， et al. Spatial modelling with Euclidean distance fields and machine learning ［J］. European Journal of Soil Science， 2018， 69（5）： 757-770. 10.1111/ejss.12687
17	TAN Y K， XU X X， LIU Y. Improved recurrent neural networks for session-based recommendations ［C］// Proceedings of the 2016 1st Workshop on Deep Learning for Recommender Systems. New York： ACM， 2016： 17-22. 10.1145/2988450.2988452

[1]	王利娥, 李小聪, 刘红翼. 融合知识图谱和差分隐私的新闻推荐方法[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1339-1346.
[2]	屈震, 李堃婷, 冯志玺. 基于有效通道注意力的遥感图像场景分类[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1431-1439.
[3]	李默, 芦天亮, 谢子恒. 基于代码图像合成的Android恶意软件家族分类方法[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1490-1499.
[4]	王艺霏, 于雷, 滕飞, 宋佳玉, 袁玥. 基于长-短时序特征融合的资源负载预测模型[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1508-1515.
[5]	刘志华, 陈文洁, 陈爱斌. 基于自注意力机制时频谱同源特征融合的鸟鸣声分类[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1260-1268.
[6]	董永峰, 孙跃华, 高立超, 韩鹏, 季海鹏. 基于改进一维卷积和双向长短期记忆神经网络的故障诊断方法[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1207-1215.
[7]	季长清, 高志勇, 秦静, 汪祖民. 基于卷积神经网络的图像分类算法综述[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1044-1049.
[8]	乔桂芳, 侯守明, 刘彦彦. 基于改进卷积神经网络与支持向量机结合的面部表情识别算法[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1253-1259.
[9]	陈浩杰, 范江亭, 刘勇. 深度强化学习解决动态旅行商问题[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1194-1200.
[10]	汪祖民, 张志豪, 秦静, 季长清. 基于卷积神经网络的机械故障诊断技术综述[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1036-1043.
[11]	滕腾, 潘海为, 张可佳, 牟雪莲, 张锡明, 陈伟鹏. 支持中文医疗问答的基于注意力机制的栈卷积神经网络模型[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1125-1130.
[12]	潘列, 曾诚, 张海丰, 温超东, 郝儒松, 何鹏. 结合广义自回归预训练语言模型与循环卷积神经网络的文本情感分析方法[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1108-1115.
[13]	李昆鹏, 张鹏程, 上官宏, 王燕玲, 杨婕, 桂志国. 基于卷积神经网络的时频域CT重建算法[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1308-1316.
[14]	黄勇康, 梁美玉, 王笑笑, 陈徵, 曹晓雯. 基于深度时空残差卷积神经网络的课堂教学视频中多人课堂行为识别[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 736-742.
[15]	陈亭秀, 尹建芹. 基于关键帧筛选网络的视听联合动作识别[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 731-735.

融合成对编码方案及二维卷积神经网络的长短期会话推荐算法

Long short-term session-based recommendation algorithm combining paired coding scheme and two-dimensional conventional neural network

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 9

参考文献 17

相关文章 15

编辑推荐

Metrics