结合自我特征和对比学习的推荐模型

doi:10.11772/j.issn.1001-9081.2023091264

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (9): 2704-2710.DOI: 10.11772/j.issn.1001-9081.2023091264

结合自我特征和对比学习的推荐模型

杨兴耀¹(), 陈羽¹, 于炯¹, 张祖莲², 陈嘉颖¹, 王东晓¹

^1.新疆大学软件学院，乌鲁木齐 830091
^2.新疆维吾尔自治区气象局新疆兴农网信息中心，乌鲁木齐 830002

收稿日期:2023-09-14 修回日期:2023-10-26 接受日期:2023-10-31 发布日期:2023-11-23 出版日期:2024-09-10
通讯作者: 杨兴耀
作者简介:杨兴耀（1984—），男，湖北襄阳人，副教授，博士，CCF会员，主要研究方向：推荐系统、大数据、信任计算
陈羽（2000—），男，湖南岳阳人，硕士研究生，主要研究方向：推荐系统
于炯（1964—），男，新疆乌鲁木齐人，教授，博士，CCF会员，主要研究方向：网格计算、并行计算
张祖莲（1984—），女，湖北襄阳人，高级工程师，硕士，主要研究方向：数值预报、信息检索
陈嘉颖（1988—），女，新疆沙湾人，副教授，博士，CCF会员，主要研究方向：推荐系统、社交网络、数据挖掘
王东晓（1970—），男，黑龙江绥化人，实验师，主要研究方向：网络安全。
基金资助:
新疆维吾尔自治区自然科学基金资助项目(2023D01C17);国家自然科学基金资助项目(62262064);新疆气象局引导项目(YD202212);新疆维吾尔自治区科技计划项目(2023D4012)

Recommendation model combining self-features and contrastive learning

Xingyao YANG¹(), Yu CHEN¹, Jiong YU¹, Zulian ZHANG², Jiaying CHEN¹, Dongxiao WANG¹

^1.School of Software，Xinjiang University，Urumqi Xinjiang 830091，China
^2.Xinjiang Xinnong Network Information Center，Meteorological Bureau of Xinjiang Uygur Autonomous Region，Urumqi Xinjiang 830002，China

Received:2023-09-14 Revised:2023-10-26 Accepted:2023-10-31 Online:2023-11-23 Published:2024-09-10
Contact: Xingyao YANG
About author:CHEN Yu， born in 2000， M. S. candidate. His research interests include recommender system.
YU Jiong， born in 1964， Ph. D.， professor. His research interests include grid computing， parallel computing.
ZHANG Zulian， born in 1984， M. S.， senior engineer. Her research interests include numerical prediction， information retrieval.
CHEN Jiaying， born in 1988， Ph. D.， associate professor. Her research interests include recommender system， social network， data mining.
WANG Dongxiao， born in 1970， experimentalist. His research interests include cyber security.
Supported by:
Natural Science Foundation of Xinjiang Uygur Autonomous Region(2023D01C17);National Natural Science Foundation of China(62262064);Xinjiang Meteorological Bureau Guidance Project(YD202212);Xinjiang Uygur Autonomous Region Science and Technology Program(2023D4012)

摘要/Abstract

摘要：

针对图神经网络推荐中图卷积在消息传递过程的嵌入表示过平滑和噪声问题，提出一种结合自我特征和对比学习的推荐模型（SfCLRec）。采用预训练-正式训练架构训练模型，首先预训练用户和项目的嵌入表示，通过融合节点自我特征维持节点本身的特征唯一性，并引入层级对比学习任务减少来自高阶邻居节点中的噪声；其次，在正式训练阶段根据评分机制重新构建协同图邻接矩阵；最后，根据最终嵌入得到预测评分。实验结果表明，相较于LightGCN、SimGCL（Simple Graph Contrastive Learning）等现有图神经网络推荐模型，SfCLRec在3个公开数据集ML-latest-small、Last.FM和Yelp中均取得了较好的召回率和归一化折损累计增益（NDCG），验证了SfCLRec的有效性。

关键词: 图协同过滤, 过平滑, 自我特征, 对比学习, 图神经网络, 个性化推荐

Abstract:

Aiming at the over-smoothing and noise problems in the embedding representation in the message passing process of graph convolution based on graph neural network recommendation， a Recommendation model combining Self-features and Contrastive Learning （SfCLRec） was proposed. The model was trained using a pre-training-formal training architecture. Firstly， the embedding representations of users and items were pre-trained to maintain the feature uniqueness of the nodes themselves by fusing the node self-features and a hierarchical contrastive learning task was introduced to mitigate the noisy information from the higher-order neighboring nodes. Then， the collaborative graph adjacency matrix was reconstructed according to the scoring mechanism in the formal training stage. Finally， the predicted score was obtained based on the final embedding. Compared with existing graph neural network recommendation models such as LightGCN and Simple Graph Contrastive Learning （SimGCL）， SfCLRec achieves the better recall and NDCG （Normalized Discounted Cumulative Gain） in three public datasets ML-latest-small， Last.FM and Yelp， validating the effectiveness of SfCLRec.

Key words: graph collaborative filtering, over-smoothing, self-feature, contrastive learning, graph neural network, personalized recommendation

中图分类号:

TP391.3

杨兴耀, 陈羽, 于炯, 张祖莲, 陈嘉颖, 王东晓. 结合自我特征和对比学习的推荐模型[J]. 计算机应用, 2024, 44(9): 2704-2710.

Xingyao YANG, Yu CHEN, Jiong YU, Zulian ZHANG, Jiaying CHEN, Dongxiao WANG. Recommendation model combining self-features and contrastive learning[J]. Journal of Computer Applications, 2024, 44(9): 2704-2710.

图/表 8

图1 SfCLRec框架

Fig. 1 Framework of SfCLRec

图2 邻接矩阵中的两个0子矩阵

Fig. 2 Two all-zero sub-matrices in adjacency matrix

图3 邻接矩阵重新生成过程

Fig. 3 Process of adjacency matrix regeneration

表1 实验数据集的统计数据

Tab. 1 Statistics of experimental datasets

数据集	用户数	项目数	交互数	稀疏度/%
ML-latest-small	593	1 297	67 705	8.800
Last.FM	1 892	17 632	92 834	0.280
Yelp	42 712	26 822	182 357	0.016

表2 不同模型在3个数据集上的实验结果

Tab. 2 Experimental results of different models on three datasets

模型	K	ML-latest-small		Last.FM		Yelp
模型	K	R@K	N@K	R@K	N@K	R@K	N@K
LightGCN	20	0.250 5	0.195 4	0.234 9	0.170 4	0.076 1	0.037 3
NCL		0.248 6	0.194 9	0.235 3	0.171 5	0.080 6	0.040 2
SimGCL		0.225 7	0.182 4	0.238 0	0.176 2	0.078 8	0.039 5
GraphDA		0.329 9	0.282 6	0.276 2	0.219 3	0.079 7	0.037 6
SfCLRec		0.332 4	0.284 7	0.278 4	0.223 0	0.089 0	0.043 4
LightGCN	40	0.364 0	0.233 3	0.322 0	0.202 2	0.117 5	0.047 4
NCL		0.384 0	0.235 4	0.325 2	0.203 3	0.123 0	0.050 5
SimGCL		0.353 3	0.222 9	0.333 9	0.206 5	0.121 3	0.049 8
GraphDA		0.443 1	0.314 8	0.370 9	0.251 6	0.122 7	0.048 1
SfCLRec		0.444 6	0.315 4	0.373 7	0.255 6	0.133 9	0.054 5

图4 ML-latest-small数据集上不同参数的性能

Fig. 4 Performance of different parameters on ML-latest-small dataset

图5 ML-latest-small数据集上SfCLRec与LightGCN不同网络层数的性能

Fig. 5 Performance of different network layers of SfCLRec and LightGCN on ML-latest-small dataset

图6 不同模块的消融实验结果

Fig. 6 Ablation experimental results for different modules

参考文献 28

1	KOREN Y， BELL R， VOLINSKY C. Matrix factorization techniques for recommender systems ［J］. Computer， 2009， 42（8）： 30-37.
2	SCHAFER J B， FRANKOWSKI D， HERLOCKER J， et al. Collaborative filtering recommender systems ［M］// The Adaptive Web： Methods and Strategies of Web Personalization. Cham： Springer， 2007： 291-324.
3	潘润超，虞启山，熊泓霏，等.基于深度图神经网络的协同推荐算法［J］.计算机应用，2023，43（9）：2741-2746.
	PAN R C， YU Q S， XIONG H F， et al. Collaborative recommendation algorithm based on deep graph neural network ［J］. Journal of Computer Applications， 2023， 43（9）：2741-2746.
4	樊海玮，鲁芯丝雨，张丽苗，等.融合知识图谱和图注意力网络的引文推荐算法［J］.计算机应用，2023，43（8）：2420-2425.
	FAN H W， LU X S Y， ZHANG L M， et al. Citation recommendation algorithm fusing knowledge graph and graph attention network ［J］. Journal of Computer Applications， 2023， 43（8）：2420-2425.
5	HE X， LIAO L， ZHANG H， et al. Neural collaborative filtering ［C］// Proceedings of the 26th International Conference on World Wide Web. New York： ACM， 2017： 173-182.
6	WANG X， HE X， WANG M， et al. Neural graph collaborative filtering ［C］// Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2019： 165-174.
7	HE X， DENG K， WANG X， et al. LightGCN： simplifying and powering graph convolution network for recommendation ［C］// Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2020： 639-648.
8	BERG R V D， KIPF T N， WELLING M. Graph convolutional matrix completion ［EB/OL］. ［2023-08-10］. .
9	YING R， HE R， CHEN K， et al. Graph convolutional neural networks for web-scale recommender systems ［C］// Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York： ACM， 2018： 974-983.
10	YANG X， WU J， YU J. Interest-aware message-passing layer-refined graph convolutional network for recommendation ［J］. Symmetry， 2023， 15（5）： 1013.
11	MAO K， ZHU J， XIAO X， et al. UltraGCN： ultra simplification of graph convolutional networks for recommendation ［C］// Proceedings of the 30th ACM International Conference on Information & Knowledge Management. New York： ACM， 2021： 1253-1262.
12	SHEN Y， WU Y， ZHANG Y， et al. How powerful is graph convolution for recommendation？［C］// Proceedings of the 30th ACM International Conference on Information & Knowledge Management. New York： ACM， 2021： 1619-1629.
13	GUO J， DU L， CHEN X， et al. On manipulating signals of user-item graph： a Jacobi polynomial-based graph collaborative filtering ［C］// Proceedings of the 29th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. New York： ACM， 2023：602-613.
14	GIDARIS S， SINGH P， KOMODAKIS N. Unsupervised representation learning by predicting image rotations ［EB/OL］. ［2023-08-12］. .
15	DEVLIN J， CHANG M-W， LEE K， et al. BERT： pre-training of deep bidirectional Transformers for language understanding ［C］// Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics. Stroudsburg： ACL， 2019： 4171-4186.
16	WU J， WANG X， FENG F， et al. Self-supervised graph learning for recommendation ［C］// Proceedings of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2021： 726-735.
17	YU J， YIN H， XIA X， et al. Are graph augmentations necessary？ Simple graph contrastive learning for recommendation ［C］// Proceedings of the 45th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2022： 1294-1303.
18	LIN Z， TIAN C， HOU Y， et al. Improving graph collaborative filtering with neighborhood-enriched contrastive learning ［C］// Proceedings of the ACM Web Conference 2022. New York： ACM， 2022： 2320-2329.
19	XIA L， HUANG C， XU Y， et al. Hypergraph contrastive collaborative filtering ［C］// Proceedings of the 45th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2022： 70-79.
20	YANG X-Y， XU F， YU J， et al. Graph neural network-guided contrastive learning for sequential recommendation ［J］. Sensors， 2023， 23（12）： 5572.
21	YANG Y， HUANG C， XIA L， et al. Knowledge graph contrastive learning for recommendation ［C］// Proceedings of the 45th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2022： 1434-1443.
22	CHEN M， HUANG C， XIA L， et al. Heterogeneous graph contrastive learning for recommendation ［C］// Proceedings of the 16th ACM International Conference on Web Search and Data Mining. New York： ACM， 2023： 544-552.
23	FAN Z， XU K， ZHANG D， et al. Graph collaborative signals denoising and augmentation for recommendation ［C］// Proceedings of the 46th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2023： 2037-2041.
24	RENDLE S， FREUDENTHALER C， GANTNER Z， et al. BPR： Bayesian personalized ranking from implicit feedback ［C］// Proceedings of the 25th Conference on Uncertainty in Artificial Intelligence. Arlington： AUAI Press， 2009： 452-461.
25	CHEN T， KORNBLITH S， NOROUZI M， et al. A simple framework for contrastive learning of visual representations ［C］// Proceedings of the 37th International Conference on Machine Learning. New York： JMLR.org， 2020： 1597-1607.
26	OORD A V D， LI Y， VINYALS O. Representation learning with contrastive predictive coding ［EB/OL］. ［2023-08-05］. .
27	JIANG Y， HUANG C， XIA L. Adaptive graph contrastive learning for recommendation ［C］// Proceedings of the 29th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. New York： ACM， 2023： 4252-4261.
28	REN X， XIA L， YANG Y， et al. SSLRec： a self-supervised learning library for recommendation ［EB/OL］. ［2023-08-15］. .

[1]	杨航, 李汪根, 张根生, 王志格, 开新. 基于图神经网络的多层信息交互融合算法用于会话推荐[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2719-2725.
[2]	唐廷杰, 黄佳进, 秦进. 基于图辅助学习的会话推荐[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2711-2718.
[3]	杜郁, 朱焱. 构建预训练动态图神经网络预测学术合作行为消失[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2726-2731.
[4]	杨帆, 邹窈, 朱明志, 马振伟, 程大伟, 蒋昌俊. 基于图注意力Transformer神经网络的信用卡欺诈检测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2634-2642.
[5]	杨莹, 郝晓燕, 于丹, 马垚, 陈永乐. 面向图神经网络模型提取攻击的图数据生成方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2483-2492.
[6]	徐松, 张文博, 王一帆. 基于时空信息的轻量视频显著性目标检测网络[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2192-2199.
[7]	林欣蕊, 王晓菲, 朱焱. 基于局部扩展社区发现的学术异常引用群体检测[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1855-1861.
[8]	蒋小霞, 黄瑞章, 白瑞娜, 任丽娜, 陈艳平. 基于事件表示和对比学习的深度事件聚类方法[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1734-1742.
[9]	汪炅, 唐韬韬, 贾彩燕. 无负采样的正样本增强图对比学习推荐方法PAGCL[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1485-1492.
[10]	郭洁, 林佳瑜, 梁祖红, 罗孝波, 孙海涛. 基于知识感知和跨层次对比学习的推荐方法[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1121-1127.
[11]	徐大鹏, 侯新民. 基于网络结构设计的图神经网络特征选择方法[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 663-670.
[12]	党伟超, 张磊, 高改梅, 刘春霞. 融合片段对比学习的弱监督动作定位方法[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 548-555.
[13]	胡能兵, 蔡彪, 李旭, 曹旦华. 基于图池化对比学习的图分类方法[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3327-3334.
[14]	杨兴耀, 沈洪涛, 张祖莲, 于炯, 陈嘉颖, 王东晓. 基于层级过滤器和时间卷积增强自注意力网络的序列推荐[J]. 《计算机应用》唯一官方网站, 2024, 44(10): 3090-3096.
[15]	花晓雨, 李冬芬, 付优, 毕可骏, 应时, 王瑞锦. 结合层次图神经网络与长短期记忆的产业链风险评估预警模型[J]. 《计算机应用》唯一官方网站, 2024, 44(10): 3223-3231.

结合自我特征和对比学习的推荐模型

Recommendation model combining self-features and contrastive learning

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 8

参考文献 28

相关文章 15

编辑推荐

Metrics