基于卷积神经网络交互的用户属性偏好建模的推荐模型

doi:10.11772/j.issn.1001-9081.2021041070

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (2): 404-411.DOI: 10.11772/j.issn.1001-9081.2021041070

基于卷积神经网络交互的用户属性偏好建模的推荐模型

潘仁志¹^,²^,³, 钱付兰¹^,²^,³(), 赵姝¹^,²^,³, 张燕平¹^,²^,³

^1.安徽大学计算机科学与技术学院, 合肥 230601
^2.计算智能与信号处理教育部重点实验室(安徽大学), 合肥 230601
^3.信息材料和智能感知安徽省实验室(安徽大学), 合肥 230601

收稿日期:2021-06-22 修回日期:2021-07-09 接受日期:2021-07-09 发布日期:2022-02-11 出版日期:2022-02-10
通讯作者: 钱付兰
作者简介:潘仁志（1996—），男，安徽马鞍山人，硕士研究生，主要研究方向：深度学习、推荐系统；
钱付兰（1978—），女，安徽蚌埠人，副教授，博士，主要研究方向：粒计算、社交网络、推荐系统；
赵姝（1979—），女，安徽巢湖人，教授，博士，主要研究方向：粒计算、商空间理论、机器学习；
张燕平（1962—），女，安徽合肥人，教授，博士，主要研究方向：智能计算、粒计算、商空间理论。
基金资助:
安徽省自然科学基金资助项目(1808085MF175)

Recommendation model for user attribute preference modeling based on convolutional neural network interaction

Renzhi PAN¹^,²^,³, Fulan QIAN¹^,²^,³(), Shu ZHAO¹^,²^,³, Yanping ZHANG¹^,²^,³

^1.School of Computer Science and Technology，Anhui University，Hefei Anhui 230601，China
^2.Key Laboratory of Intelligent Computing and Signal Processing，Ministry of Education （Anhui University），Hefei Anhui 230601，China
^3.Information Materials and Intelligent Sensing Laboratory of Anhui Province （Anhui University），Hefei Anhui 230601，China

Received:2021-06-22 Revised:2021-07-09 Accepted:2021-07-09 Online:2022-02-11 Published:2022-02-10
Contact: Fulan QIAN
About author:PAN Renzhi， born in 1996， M. S. candidate. His research interests include deep learning， recommender system.
QIAN Fulan， born in 1978， Ph. D.， associate professor. Her research interests include granular computing， social network， recommender system.
ZHAO Shu， born in 1979， Ph. D.， professor. Her research interests include granular computing， quotient space theory， machine learning.
ZHANG Yanping， born in 1962， Ph. D.， professor. Her research interests include intelligent computing， granular computing， quotient space theory.
Supported by:
Natural Science Foundation of Anhui Province(1808085MF175)

摘要/Abstract

摘要：

潜在因子模型（LFM）以其优异的性能在推荐领域得到了广泛应用。在LFM中除了使用交互数据以外，辅助信息也被引入用于解决数据稀疏的问题，从而提升推荐的性能。然而，大多数LFM仍然存在一些问题：第一，LFM在对用户进行建模时，忽略了用户如何根据其特征偏好对项目作出决策；第二，采用内积的特征交互假设特征维度之间是相互独立的，而没有考虑到特征维度之间的关联。针对上述问题，提出一种新的推荐模型：基于卷积神经网络（CNN）交互的用户属性偏好建模的推荐模型（UAMC）。该模型首先获得用户的一般偏好、用户属性和项目嵌入，然后将用户属性和项目嵌入进行交互，以探索用户不同的属性对不同项目的偏好；接着将交互过的用户偏好属性送入CNN层来探索不同偏好属性的不同维度的关联，从而得到用户的属性偏好向量；接着使用注意力机制结合用户的一般偏好和CNN层得到的属性偏好，从而获得用户的向量表示；最后采用点积来计算用户对项目的评分。在Movielens-100K、Movielens-1M和Book-crossing这三个真实的数据集上进行了实验。实验结果表明，所提模型在均方根误差（RMSE）上与稀疏数据预测的神经网络分解机（NFM）模型相比分别降低了1.75%、2.78%和0.25%，验证了在LFM的评分预测推荐中，UAMC在提升推荐精度上的有效性。

关键词: 潜在因子模型, 用户偏好, 用户属性偏好, 卷积神经网络, 特征交互, 注意力机制

Abstract:

Latent Factor Model （LFM） have been widely used in recommendation field due to their excellent performance. In addition to interactive data， auxiliary information is also introduced to solve the problem of data sparsity， thereby improving the performance of recommendations. However， most LFMs still have some problems. First， when modeling users by LFM， how users make decisions on items based on their feature preferences is ignored. Second， the feature interaction using inner product assumes that the feature dimensions are independent to each other， without considering the correlation between the feature dimensions. In order to solve the above problems， a recommendation model for User Attribute preference Modeling based on Convolutional Neural Network （CNN） interaction （UAMC） was proposed. In this model， the general preferences of users， user attributes and item embeddings were firstly obtained， and then the user attributes and item embeddings were interacted to explore the preferences of different attributes of users to different items. After that， the interacted user preference attributes were sent to the CNN layer to explore the correlation between different dimensions of different preference attributes and thus obtain the users’ attribute preference vectors. Next， the attention mechanism was used to combine the general preferences of the users with the attribute preferences obtained from CNN layer to obtain the vector representations of the users. Finally， the dot product was used to calculate the users’ ratings of the items. Experiments were conducted on three real datasets： Movielens-100K， Movielens-1M and Book-crossing. The results show that the proposed algorithm decreases the Root Mean Square Error （RMSE） by 1.75%， 2.78% and 0.25% respectively compared with the model of Neural Factorization Machine for sparse predictive analytics （NFM）， which verifies the effectiveness of UAMC model in improving the accuracy of recommendation in the rating prediction recommendation of LFM.

Key words: Latent Factor Model (LFM), user preference, user attribute preference, Convolutional Neural Network (CNN), feature interaction, attention mechanism

中图分类号:

TP183

潘仁志, 钱付兰, 赵姝, 张燕平. 基于卷积神经网络交互的用户属性偏好建模的推荐模型[J]. 计算机应用, 2022, 42(2): 404-411.

Renzhi PAN, Fulan QIAN, Shu ZHAO, Yanping ZHANG. Recommendation model for user attribute preference modeling based on convolutional neural network interaction[J]. Journal of Computer Applications, 2022, 42(2): 404-411.

图/表 6

参考文献 23

1	朱扬勇，孙婧.推荐系统研究进展［J］.计算机科学与探索， 2015， 9（5）： 513-525. 10.3778/j.issn.1673-9418.1412023
	ZHU Y Y， SUN J. Recommender system： up to now［J］. Journal of Frontiers of Computer Science and Technology， 2015， 9（5）： 513-525. 10.3778/j.issn.1673-9418.1412023
2	黄立威，江碧涛，吕守业，等.基于深度学习的推荐系统研究综述［J］.计算机学报， 2018， 41（7）： 1619-1647. 10.11897/SP.J.1016.2018.01619
	HUANG L W， JIANG B T， LYU S Y， et al. Survey on deep learning based recommender systems［J］. Chinese Journal of Computers， 2018， 41（7）： 1619-1647. 10.11897/SP.J.1016.2018.01619
3	邓凯，黄加进，秦进.基于物品的统一推荐模型［J］.计算机应用， 2020， 40（2）： 530-534. 10.11772/j.issn.1001-9081.2019101791
	DENG K， HUANG J J， QIN J. Item-based unified recommendation model［J］. Journal of Computer Applications， 2020， 40（2）： 530-534. 10.11772/j.issn.1001-9081.2019101791
4	KOREN Y， BELL R， VOLINSKY C. Matrix factorization techniques for recommender systems［J］. Computer， 2009， 42（8）： 30-37. 10.1109/mc.2009.263
5	LIU H T， WU F Z， WANG W J， et al. NRPA： neural recommendation with personalized attention ［C］// Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2019： 1233-1236. 10.1145/3331184.3331371
6	YUN S， KIM R， KO M， et al. SAIN： self-attentive integration network for recommendation ［C］// Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2019： 1205-1208. 10.1145/3331184.3331342
7	CHEN J W， ZHUANG F Z， HONG X， et al. Attention-driven factor model for explainable personalized recommendation ［C］// Proceedings of the 41st International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2018： 909-912. 10.1145/3209978.3210083
8	SHI S Y， ZHANG M， LIU Y Q， et al. Attention-based adaptive model to unify warm and cold starts recommendation ［C］// Proceedings of the 27th ACM International Conference on Information and Knowledge Management. New York： ACM， 2018： 127-136. 10.1145/3269206.3271710
9	ZHANG Y F， LAI G K， ZHANG M， et al. Explicit factor models for explainable recommendation based on phrase-level sentiment analysis ［C］// Proceedings of 37th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2014： 83-92. 10.1145/2600428.2609579
10	SALAKHUTDINOV R， MINH A. Bayesian probabilistic matrix factorization using Markov chain Monte Carlo ［C］// Proceedings of the 25th International Conference on Machine Learning. New York： ACM， 2008： 880-887. 10.1145/1390156.1390267
11	QIAN F L， HUANG Y F， LI J H， et al. HGAR： hybrid granular algorithm for rating recommendation ［C］// Proceedings of the 2020 International Joint Conference on Rough Sets， LNCS12179. Cham： Springer， 2020： 267-279.
12	ZHANG Q G， CAO L B， ZHU C Z， et al. CoupledCF： learning explicit and implicit user-item couplings in recommendation for deep collaborative filtering ［C］// Proceedings of the 27th International Joint Conference on Artificial Intelligence. ［S.l.］： IJCAI Organization， 2018： 3662-3668. 10.24963/ijcai.2018/509
13	LIU F， CHENG Z Y， ZHU L， et al. A2-GCN： an attribute-aware attentive GCN model for recommendation［J］. IEEE Transactions on Knowledge and Data Engineering， 2020（Early Access）： 1-1. 10.1109/TKDE.2020.3040772
14	RENDLE S. Factorization machines ［C］// Proceedings of the 2010 IEEE International Conference on Data Mining. Piscataway： IEEE， 2010： 995-1000. 10.1109/icdm.2010.127
15	CHENG H T， KOC L， HARMSEN J， et al. Wide & deep learning for recommender systems ［C］// Proceedings of the 1st Workshop on Deep Learning for Recommender Systems. New York： ACM， 2016： 7-10. 10.1145/2988450.2988454
16	HE X N， CHUA T S. Neural factorization machines for sparse predictive analytics ［C］// Proceedings of the 40th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2017： 355-364. 10.1145/3077136.3080777
17	ZHANG T T， ZHAO P P， LIU Y C， et al. Feature-level deeper self-attention network for sequential recommendation ［C］// Proceedings of the 28th International Joint Conference on Artificial Intelligence. ［S.l.］： IJCAI Organization， 2019： 4320-4326. 10.24963/ijcai.2019/600
18	LIAN J X， ZHOU X H， ZHANG F Z， et al. xDeepFM： combining explicit and implicit feature interactions for recommender systems ［C］// Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2018： 1754-1763. 10.1145/3219819.3220023
19	XIN X， CHEN B， HE X N， et al. CFM： convolutional factorization machines for context-aware recommendation ［C］// Proceedings of the 28th International Joint Conference on Artificial Intelligence. ［S.l.］： IJCAI Organization， 2019： 3926-3932. 10.24963/ijcai.2019/545
20	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need ［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 6000-6010. 10.1016/s0262-4079(17)32358-8
21	HE X N， LIAO L Z， ZHANG H W， et al. Neural collaborative filtering ［C］// Proceedings of the 26th International Conference on World Wide Web. Republic and Canton of Geneva： International World Wide Web Conferences Steering Committee， 2017： 173-182. 10.1145/3038912.3052569
22	BAI P Z， GE Y， LIU F L， et al. Joint interaction with context operation for collaborative filtering［J］. Pattern Recognition， 2019， 88： 729-738. 10.1016/j.patcog.2018.12.003
23	WANG X， WANG R J， SHI C， et al. Multi-component graph convolutional collaborative filtering ［C］// Proceedings of the 34th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2020： 6267-6274. 10.1609/aaai.v34i04.6094

数据集	用户数	项目数	评分数	稀疏度
Movielens-100K	943	1 682	100 000	0.062 94
Movielens-1M	6 040	3 952	1000 000	0.041 89
Book-crossing	5 004	110 311	200 000	0.000 36

数据集	用户数	项目数	评分数	稀疏度
Movielens-100K	943	1 682	100 000	0.062 94
Movielens-1M	6 040	3 952	1000 000	0.041 89
Book-crossing	5 004	110 311	200 000	0.000 36

模型	Movielens-100K		Movielens-1M		Book-crossing
模型	RMSE	MAE	RMSE	MAE	RMSE	MAE
MF	0.912 7	0.713 3	0.869 3	0.681 5	1.554 6	1.213 8
NCF	0.930 6	0.735 7	0.882 3	0.693 1	1.564 1	1.237 2
NFM	0.913 4	0.718 9	0.878 2	0.687 5	1.552 4	1.208 5
JICO	0.942 8	0.740 1	0.862 6	0.6591	—	—
HGAR	0.921 6	0.717 7	0.856 9	0.668 7	1.549 3	1.202 5
MCCF	0.907 0	0.705 0	—	—	—	—
UAMC	0.8974	0.7047	0.8538	0.670 8	1.5485	1.2005

模型	Movielens-100K		Movielens-1M		Book-crossing
模型	RMSE	MAE	RMSE	MAE	RMSE	MAE
MF	0.912 7	0.713 3	0.869 3	0.681 5	1.554 6	1.213 8
NCF	0.930 6	0.735 7	0.882 3	0.693 1	1.564 1	1.237 2
NFM	0.913 4	0.718 9	0.878 2	0.687 5	1.552 4	1.208 5
JICO	0.942 8	0.740 1	0.862 6	0.6591	—	—
HGAR	0.921 6	0.717 7	0.856 9	0.668 7	1.549 3	1.202 5
MCCF	0.907 0	0.705 0	—	—	—	—
UAMC	0.8974	0.7047	0.8538	0.670 8	1.5485	1.2005

数据集	UAMC		UAMC-C
数据集	RMSE	MAE	RMSE	MAE
Movielens-100K	0.897 4	0.704 7	0.918 4	0.724 2
Movielens-1M	0.853 8	0.670 8	0.859 9	0.676 7
Book-crossing	1.548 5	1.200 5	1.550 2	1.202 7

基于卷积神经网络交互的用户属性偏好建模的推荐模型

Recommendation model for user attribute preference modeling based on convolutional neural network interaction

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 6

参考文献 23

相关文章 15

编辑推荐

Metrics

[1]	张毅, 王爽胜, 何彬, 叶培明, 李克强. 基于BERT的初等数学文本命名实体识别方法[J]. 《计算机应用》唯一官方网站, 2022, 42(2): 433-439.
[2]	孟杰, 王莉, 杨延杰, 廉飚. 基于多模态深度融合的虚假信息检测[J]. 《计算机应用》唯一官方网站, 2022, 42(2): 419-425.
[3]	李亚鸣, 邢凯, 邓洪武, 王志勇, 胡璇. 基于小样本无梯度学习的卷积结构预训练模型性能优化方法[J]. 《计算机应用》唯一官方网站, 2022, 42(2): 365-374.
[4]	陈薪羽, 刘明哲, 任俊, 汤影. 基于多列卷积神经网络的参数异步更新算法[J]. 《计算机应用》唯一官方网站, 2022, 42(2): 395-403.
[5]	富坤, 高金辉, 赵晓梦, 李佳宁. 融合全局结构信息的拓扑优化图卷积网络[J]. 《计算机应用》唯一官方网站, 2022, 42(2): 357-364.
[6]	刘羽茜, 刘玉奇, 张宗霖, 卫志华, 苗冉. 注入注意力机制的深度特征融合新闻推荐模型[J]. 《计算机应用》唯一官方网站, 2022, 42(2): 426-432.
[7]	李薇, 樊瑶驰, 江巧永, 王磊, 徐庆征. 基于教与学优化的可变卷积自编码器的医学图像分类方法[J]. 《计算机应用》唯一官方网站, 2022, 42(2): 592-598.
[8]	吕学强, 彭郴, 张乐, 董志安, 游新冬. 融合BERT与标签语义注意力的文本多标签分类方法[J]. 《计算机应用》唯一官方网站, 2022, 42(1): 57-63.
[9]	包银鑫, 曹阳, 施佺. 基于改进时空残差卷积神经网络的城市路网短时交通流预测[J]. 《计算机应用》唯一官方网站, 2022, 42(1): 258-264.
[10]	王润泽, 张月琴, 秦琪琦, 张泽华, 郭旭敏. 多视角多注意力融合分子特征的药物-靶标亲和力预测[J]. 《计算机应用》唯一官方网站, 2022, 42(1): 325-332.
[11]	李建明, 陈斌, 江志伟, 覃健. 优化搜索空间下带约束的可微分神经网络架构搜索[J]. 《计算机应用》唯一官方网站, 2022, 42(1): 44-49.
[12]	李恒鑫, 常侃, 谭宇飞, 凌铭阳, 覃团发. 应用通道间相关性及增强信息蒸馏的彩色图像去马赛克网络[J]. 《计算机应用》唯一官方网站, 2022, 42(1): 245-251.
[13]	杨贞, 彭小宝, 朱强强, 殷志坚. 基于Deeplab V3 Plus的自适应注意力机制图像分割算法[J]. 《计算机应用》唯一官方网站, 2022, 42(1): 230-238.
[14]	许慧青, 陈斌, 王敬飞, 陈志毅, 覃健. 基于卷积神经网络的细长路面病害检测方法[J]. 《计算机应用》唯一官方网站, 2022, 42(1): 265-272.
[15]	宋中山, 梁家锐, 郑禄, 刘振宇, 帖军. 基于双向门控尺度特征融合的遥感场景分类[J]. 计算机应用, 2021, 41(9): 2726-2735.