融合成对编码方案及二维卷积神经网络的长短期会话推荐算法

doi:10.11772/j.issn.1001-9081.2021030467

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (5): 1347-1354.DOI: 10.11772/j.issn.1001-9081.2021030467

所属专题：人工智能

融合成对编码方案及二维卷积神经网络的长短期会话推荐算法

陈学勤, 陶涛, 张钟旺, 王一蕾()

福州大学数学与计算机科学学院，福州 350108

收稿日期:2021-03-29 修回日期:2021-07-01 接受日期:2021-07-05 发布日期:2022-06-11 出版日期:2022-05-10
通讯作者: 王一蕾
作者简介:陈学勤（1997—），男，福建福州人，硕士研究生，主要研究方向：个性化推荐
陶涛（1995—），男，江西抚州人，硕士研究生，主要研究方向：个性化推荐
张钟旺（1997—），男，福建三明人，硕士研究生，主要研究方向：个性化推荐
王一蕾（1979—），女，福建福州人，副教授，博士，CCF会员，主要研究方向：文本挖掘、数据安全、隐私保护。 714867833@qq.com
基金资助:
福建省自然科学基金资助项目(2018J01799)

Long short-term session-based recommendation algorithm combining paired coding scheme and two-dimensional conventional neural network

Xueqin CHEN, Tao TAO, Zhongwang ZHANG, Yilei WANG()

College of Mathematics and Computer Science，Fuzhou University，Fuzhou Fujian 350108，China

Received:2021-03-29 Revised:2021-07-01 Accepted:2021-07-05 Online:2022-06-11 Published:2022-05-10
Contact: Yilei WANG
About author:CHEN Xueqin， born in 1997，M. S. candidate. His researchinterests include personalized recommendation.
TAO Tao， born in 1995，M. S. candidate. His research interestsinclude personalized recommendation.
ZHANG Zhongwang， born in 1997，M. S. candidate. His researchinterests include personalized recommendation.
WANG Yilei， born in 1979，Ph. D.，associate professor. Herresearch interests include text mining，data security，privacy protection.
Supported by:
Natural Science Foundation of Fujian Province(2018J01799)

摘要/Abstract

摘要：

虽然基于循环神经网络（RNN）的会话推荐算法可以有效地对会话中的长期依赖关系进行建模，并且可以结合注意力机制来刻画用户在会话中的主要目的，但它在进行会话建模的过程中无法绕过与用户主要目的不相关的物品，易受其影响以致降低推荐精度。针对上述问题，设计了成对编码方案来将原始输入序列嵌入向量转化为一个三维张量表示，使得非相邻的行为也能够产生联系。通过二维卷积神经网络（CNN）来处理该张量以捕获非相邻物品间的联系，并提出了引入用于会话推荐的二维卷积神经网络的神经注意力推荐机（COS-NARM）模型。该模型能有效跳过序列中与用户主要目的不相关的物品。实验结果表明，COS-NARM模型在DIGINETICA等多个真实数据集上的召回率和平均倒数排名（MRR）都得到了不同程度的提升，且优于NARM、GRU-4Rec+等所有基线模型。在上述研究的基础上，将欧氏距离引入COS-NARM模型，提出了OCOS-NARM模型。利用欧氏距离直接计算不同时刻兴趣间的相似度以减少模型的参数，降低模型的复杂度。实验结果表明，欧氏距离的引入不仅使得OCOS-NARM模型在DIGINETICA等多个真实数据集上的推荐效果得到了进一步的提升，而且使OCOS-NARM模型的训练时间相较COS-NARM模型缩短了14.84%，有效提高了模型的训练速度。

Abstract:

The session-based recommendation algorithm based on Recurrent Neural Network （RNN） can effectively model the long-term dependency in the session， and can combine the attention mechanism to describe the main purpose of the user in the session. However， it cannot bypass the items that are not related to the user’s main purpose in the process of session modeling， and is susceptible to their influence to reduce the recommendation accuracy. In order to solve problems， a new paired coding scheme was designed， which transformed the original input sequence embedding vector into a three-dimensional tensor representation， so that non-adjacent behaviors were also able to be linked. The tensor was processed by a two-dimensional Conventional Neural Network （CNN） to capture the relationship between non-adjacent items， and a Neural Attentive Recommendation Machine introducing two-dimensional COnvolutional neural network for Session-based recommendation （COS-NARM） model was proposed. The proposed model was able to effectively skip items that were not related to the user’s main purpose in the sequence. Experimental results show that the recall and Mean Reciprocal Rank （MRR） of the COS-NARM model on multiple real datasets such as DIGINETICA are improved to varying degrees， and they are better than those of all baseline models such as NARM and GRU-4Rec+. On the basis of the above research， Euclidean distance was introduced into the COS-NARM model， and the OCOS-NARM model was proposed. Euclidean distance was used to directly calculate the similarity between interests at different times to reduce the parameters of model and reduce the complexity of model. Experimental results show that the introduction of Euclidean distance further improves the recommendation effect of the OCOS-NARM model on multiple real datasets such as DIGINETICA， and makes the training time of the OCOS-NARM model shortened by 14.84% compared with that of the COS-NARM model， effectively improving the training speed of model.

Key words: session-based recommendation, Recurrent Neural Network (RNN), paired coding, Conventional Neural Network (CNN), Euclidean distance

中图分类号:

TP183

陈学勤, 陶涛, 张钟旺, 王一蕾. 融合成对编码方案及二维卷积神经网络的长短期会话推荐算法[J]. 计算机应用, 2022, 42(5): 1347-1354.

Xueqin CHEN, Tao TAO, Zhongwang ZHANG, Yilei WANG. Long short-term session-based recommendation algorithm combining paired coding scheme and two-dimensional conventional neural network[J]. Journal of Computer Applications, 2022, 42(5): 1347-1354.

图/表 9

图1 NARM模型的结构

Fig. 1 Structure of NARM model

表1 二维卷积神经网络的结构

Tab. 1 Structure of two-dimensional CNN

层次	输出尺寸	卷积核大小
一号卷积块的一级卷积层	$D 1 × 5 × 5$	$1 × 1$
一号卷积块的二级卷积层	$D 1 × 3 × 3$	$3 × 3$
二号卷积块的一级卷积层	$D 2 × 3 × 3$	$1 × 1$
二号卷积块的二级卷积层	$D 2 × 1 × 1$	$3 × 3$

表1 二维卷积神经网络的结构

Tab. 1 Structure of two-dimensional CNN

层次	输出尺寸	卷积核大小
一号卷积块的一级卷积层	$D 1 × 5 × 5$	$1 × 1$
一号卷积块的二级卷积层	$D 1 × 3 × 3$	$3 × 3$
二号卷积块的一级卷积层	$D 2 × 3 × 3$	$1 × 1$
二号卷积块的二级卷积层	$D 2 × 1 × 1$	$3 × 3$

图2 COS-NARM模型的全局编码器

Fig. 2 Global encoder of COS-NARM model

表2 不同数据集的统计数据

Tab. 2 Statistics of different datasets

数据集	点击总数	训练集会话总数	物品总数	平均长度	测试集会话总数
YOOCHOOSE 1/64	557 248	369 859	16 766	6.16	55 898
YOOCHOOSE 1/4	8 326 407	5 917 746	29 618	5.71	55 898
DIGINETICA	982 961	719 470	43 097	5.12	60 858

表3 不同模型的Recall@20和MRR@20 ( %)

Tab. 3 Recall@20 and MRR@20 of different models

模型	YOOCHOOSE 1/64		YOOCHOOSE 1/4		DIGINETICA
模型	Recall@20	MRR@20	Recall@20	MRR@20	Recall@20	MRR@20
POP	6.71	1.65	1.33	0.30	0.91	0.23
S-POP	30.44	18.35	27.08	17.75	21.07	14.69
Item-KNN	51.60	21.81	52.31	21.70	28.35	9.45
BPR-MF	31.31	12.08	3.40	1.57	15.19	8.63
GRU-4Rec	60.64	22.89	59.53	22.60	43.82	15.46
2D CNN	61.01	21.63	62.29	20.78	44.74	18.29
GRU-4Rec+	67.84	29.00	69.11	29.22	57.95	24.93
NARM	68.32	28.76	69.73	29.23	62.58	27.35
DCOS-NARM	67.12	28.47	69.62	29.18	62.05	27.18
COS-NARM	69.01	29.46	71.10	31.66	63.40	28.31

表4 不同模型与NARM模型在Recall@20和MRR@20上的比较

Tab. 4 Comparison of different models and NARM model on Recall@20 and MRR@20

数据集	模型	Recall@20提升百分比/%	MRR@20提升百分比/%	Recall@20降低百分比/%	MRR@20降低百分比/%
YOOCHOOSE 1/64	COS-NARM	1.01	2.43	—	—
YOOCHOOSE 1/64	DCOS-NARM	—	—	1.76	1.01
YOOCHOOSE 1/4	COS-NARM	1.96	8.31	—	—
YOOCHOOSE 1/4	DCOS-NARM	—	—	0.16	0.17
DIGINETICA	COS-NARM	1.31	3.51	—	—
DIGINETICA	DCOS-NARM	—	—	0.85	0.62

表5 不同数据集的点击总数

Tab. 5 Total number of clicks of different datasets

数据集	数据集的点击总数
YOOCHOOSE 1/64	557 248
YOOCHOOSE 1/4	8 326 407
DIGINETICA	982 961

表6 四种模型的Recall@20和MRR@20 ( %)

Tab. 6 Recall@20 and MRR@20 of four models

模型	YOOCHOOSE 1/64		YOOCHOOSE 1/4		DIGINETICA
模型	Recall@20	MRR@20	Recall@20	MRR@20	Recall@20	MRR@20
NARM	68.32	28.76	69.73	29.23	62.58	27.35
COS-NARM	69.01	29.46	71.10	31.66	63.40	28.31
O-NARM	68.71	28.98	70.02	29.52	62.71	27.54
OCOS-NARM	69.25	30.39	71.29	31.93	63.58	28.76

表7 在YOOCHOOSE 1/4数据集上不同模型的训练时间

Tab. 7 Training time of different models on YOOCHOOSE 1/4 dataset

模型	训练时间/min
NARM	985
O-NARM	826
COS-NARM	3 067
OCOS-NARM	2 612

参考文献 17

1	毛勇华，桂小林，李前，等.深度学习应用技术研究［J］.计算机应用研究，2016，33（11）：3201-3205. 10.3969/j.issn.1001-3695.2016.11.001
	MAO Y H， GUI X L， LI Q， et al. Study on application technology of deep learning ［J］. Application Research of Computers， 2016， 33（11）： 3201-3205. 10.3969/j.issn.1001-3695.2016.11.001
2	刘浩翰，吕鑫，李建伏.考虑用户意图和时间间隔的会话型深度学习推荐系统［J］.计算机应用与软件，2021，38（3）：190-195，223. 10.3969/j.issn.1000-386x.2021.03.029
	LIU H H， LYU X， LI J F. A session-based deep learning recommendation system considering user purpose and time interval ［J］. Computer Applications and Software， 2021， 38（3）： 190-195， 223. 10.3969/j.issn.1000-386x.2021.03.029
3	HIDASI B， KARATZOGLOU A， BALTRUNAS L， et al. Session-based recommendations with recurrent neural networks ［EB/OL］. ［2021-02-12］. . 10.1145/3269206.3271761
4	DADOUN A， TRONCY R. Many-to-one recurrent neural network for session-based recommendation ［EB/OL］. ［2021-02-12］. . 10.1016/j.neucom.2021.01.041
5	BACH N X， LONG D H， PHUONG T M. Recurrent convolutional networks for session-based recommendations ［J］. Neurocomputing， 2020， 411： 247-258. 10.1016/j.neucom.2020.06.077
6	QUADRANA M， KARATZOGLOU A， HIDASI B， et al. Personalizing session-based recommendations with hierarchical recurrent neural networks ［C］// Proceedings of the 2017 11th ACM Conference on Recommender Systems. New York： ACM， 2017： 130-137. 10.1145/3109859.3109896
7	HIDASI B， KARATZOGLOU A. Recurrent neural networks with top-k gains for session-based recommendations ［C］// Proceedings of the 2018 27th ACM International Conference on Information and Knowledge Management. New York： ACM， 2018： 843-852. 10.1145/3269206.3271761
8	SONG Y， LEE J G. Augmenting recurrent neural networks with high-order user-contextual preference for session-based recommendation ［EB/OL］. ［2021-02-12］. . 10.48550/arXiv.1805.02983
9	LI J， REN P J， CHEN Z M， et al. Neural attentive session-based recommendation ［C］// Proceedings of the 2017 ACM Conference on Information and Knowledge Management. New York： ACM， 2017： 1419-1428. 10.1145/3132847.3132926
10	YIN W P， KANN K， YU M， et al. Comparative study of CNN and RNN for natural language processing ［EB/OL］. ［2021-02-12］. .
11	DHYANI M， KUMAR R. An intelligent Chatbot using deep learning with Bidirectional RNN and attention model ［J］. Materials Today： Proceedings， 2021， 34（Pt 3）： 817-824. 10.1016/j.matpr.2020.05.450
12	TANG J X， WANG K. Personalized top-N sequential recommendation via convolutional sequence embedding ［C］// Proceedings of the 2018 11th ACM International Conference on Web Search and Data Mining. New York： ACM， 2018： 565-573. 10.1145/3159652.3159656
13	BOGINA V， KUFLIK T. Incorporating dwell time in session-based recommendations with recurrent neural networks ［C］// Proceedings of the 2017 1st Workshop on Temporal Reasoning in Recommender Systems Co-located with 11th International Conference on Recommender Systems. Aachen： CEUR-WS.org， 2017： 57-59.
14	MOREIRA G S P， JANNACH D， CUNHA A M DA. Hybrid session-based news recommendation using recurrent neural networks ［EB/OL］. ［2021-02-12］. . 10.1109/access.2019.2954957
15	WANG Y Q， GUO C L， CHU Y F， et al. A cross-domain hierarchical recurrent model for personalized session-based recommendations ［J］. Neurocomputing， 2020， 380： 271-284. 10.1016/j.neucom.2019.11.013
16	BEHRENS T， SCHMIDT K， VISCARRA ROSSEL R A， et al. Spatial modelling with Euclidean distance fields and machine learning ［J］. European Journal of Soil Science， 2018， 69（5）： 757-770. 10.1111/ejss.12687
17	TAN Y K， XU X X， LIU Y. Improved recurrent neural networks for session-based recommendations ［C］// Proceedings of the 2016 1st Workshop on Deep Learning for Recommender Systems. New York： ACM， 2016： 17-22. 10.1145/2988450.2988452

[1]	李云, 王富铕, 井佩光, 王粟, 肖澳. 基于不确定度感知的帧关联短视频事件检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2903-2910.
[2]	唐廷杰, 黄佳进, 秦进. 基于图辅助学习的会话推荐[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2711-2718.
[3]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[4]	杨航, 李汪根, 张根生, 王志格, 开新. 基于图神经网络的多层信息交互融合算法用于会话推荐[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2719-2725.
[5]	陈虹, 齐兵, 金海波, 武聪, 张立昂. 融合1D-CNN与BiGRU的类不平衡流量异常检测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2493-2499.
[6]	赵宇博, 张丽萍, 闫盛, 侯敏, 高茂. 基于改进分段卷积神经网络和知识蒸馏的学科知识实体间关系抽取[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2421-2429.
[7]	唐廷杰, 黄佳进, 秦进, 陆辉. 基于图共现增强多层感知机的会话推荐[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2357-2364.
[8]	张春雪, 仇丽青, 孙承爱, 荆彩霞. 基于两阶段动态兴趣识别的购买行为预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2365-2371.
[9]	王东炜, 刘柏辰, 韩志, 王艳美, 唐延东. 基于低秩分解和向量量化的深度网络压缩方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 1987-1994.
[10]	高阳峄, 雷涛, 杜晓刚, 李岁永, 王营博, 闵重丹. 基于像素距离图和四维动态卷积网络的密集人群计数与定位方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2233-2242.
[11]	黄梦源, 常侃, 凌铭阳, 韦新杰, 覃团发. 基于层间引导的低光照图像渐进增强算法[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1911-1919.
[12]	李健京, 李贯峰, 秦飞舟, 李卫军. 基于不确定知识图谱嵌入的多关系近似推理模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1751-1759.
[13]	姚迅, 秦忠正, 杨捷. 生成式标签对抗的文本分类模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1781-1785.
[14]	沈君凤, 周星辰, 汤灿. 基于改进的提示学习方法的双通道情感分析模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1796-1806.
[15]	席治远, 唐超, 童安炀, 王文剑. 基于双路时空网络的驾驶员行为识别[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1511-1519.

融合成对编码方案及二维卷积神经网络的长短期会话推荐算法

Long short-term session-based recommendation algorithm combining paired coding scheme and two-dimensional conventional neural network

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 9

参考文献 17

相关文章 15

编辑推荐

Metrics