无负采样的正样本增强图对比学习推荐方法PAGCL

doi:10.11772/j.issn.1001-9081.2023050756

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (5): 1485-1492.DOI: 10.11772/j.issn.1001-9081.2023050756

• 第十九届中国机器学习会议(CCML 2023) • 上一篇

无负采样的正样本增强图对比学习推荐方法PAGCL

汪炅¹, 唐韬韬¹, 贾彩燕¹^,²()

^1.北京交通大学计算机与信息技术学院，北京 100091
^2.交通数据分析与挖掘北京市重点实验室（北京交通大学），北京 100091

收稿日期:2023-06-13 修回日期:2023-07-05 接受日期:2023-07-09 发布日期:2023-08-01 出版日期:2024-05-10
通讯作者: 贾彩燕
作者简介:汪炅（1999—），男，安徽黄山人，硕士研究生，CCF会员，主要研究方向：图神经网络、对比学习、推荐系统
唐韬韬（1998—），男，湖北安陆人，硕士研究生，CCF会员，主要研究方向：推荐系统、图神经网络
第一联系人：贾彩燕（1976—），女，宁夏石嘴山人，教授，博士，CCF会员，主要研究方向：机器学习、社会计算、推荐系统。

PAGCL： positive augmentation graph contrastive learning recommendation method without negative sampling

Jiong WANG¹, Taotao TANG¹, Caiyan JIA¹^,²()

^1.School of Computer and Information Technology，Beijing Jiaotong University，Beijing 100091，China
^2.Beijing Key Lab of Traffic Data Analysis and Mining （Beijing Jiaotong University），Beijing 100091，China

Received:2023-06-13 Revised:2023-07-05 Accepted:2023-07-09 Online:2023-08-01 Published:2024-05-10
Contact: Caiyan JIA
About author:WANG Jiong， born in 1999， M. S. candidate. His research interests include graph neural network， contrastive learning， recommendation system.
TANG Taotao， born in 1998， M. S. candidate. His research interests include recommendation system， graph neural network.

摘要/Abstract

摘要：

对比学习（CL）因能够提取数据本身包含的监督信号而被广泛应用于推荐任务。最近的研究表明，CL在推荐方面的成功依赖于对比损失——互信息噪声对比估计（InfoNCE）损失带来的节点分布的均匀性。此外，另一项研究证明贝叶斯个性化排序（BPR）损失的正项与负项分别带来的对齐性和均匀性有助于提高推荐性能。由于在CL框架中对比损失能够带来比BPR负项更强的均匀性，BPR负项存在的必要性值得商榷。实验分析表明在对比框架中BPR的负项是不必要的，并基于这一观察提出了无需负采样的联合优化损失，可应用于经典的CL方法并达到相同或更高的性能。此外，与专注于提高均匀性的研究不同，为进一步加强对齐性，提出一种新颖的正样本增强的图对比学习方法（PAGCL），该方法使用随机正样本在节点表示层面进行扰动。在多个基准数据集上的实验结果表明，PAGCL在召回率及归一化折损累积增益（NDCG）这两个常用指标上均优于SOTA方法自监督图学习（SGL）、简单图对比学习（SimGCL）等，且相较于基模型轻量化图卷积（LightGCN）的NDCG@20提升最大可达17.6%。

关键词: 推荐系统, 对比学习, 自监督学习, 图神经网络, 数据增强

Abstract:

Contrastive Learning （CL） has been widely used for recommendation because of its ability to extract supervised signals contained in data itself. The recent study shows that the success of CL in recommendation depends on the uniformity of node distribution brought by comparative loss — Infomation Noise Contrastive Estimation （InfoNCE） loss. In addition， the other study proves that Bayesian Personalized Ranking （BPR） loss is beneficial to alignment and uniformity， which contribute to higher recommendation performance. Since the CL loss can bring stronger uniformity than the negative term of BPR， the necessity of the negative term of BPR in CL framework has aroused suspicion. Therefore， this study experimentally disclosed that the negative term of BPR is unnecessary in CL framework for recommendation. Based on this observation， a joint optimization loss without negative sampling was proposed， which could be applied to classical CL-based methods and achieve the same or higher performance. Besides， unlike studies which focus on improving uniformity， a novel Positive Augmentation Graph Contrastive Learning method （PAGCL） was presented， which used random positive samples for perturbation at representation level to further strengthen alignment. Experimental results on several benchmark datasets show that the proposed method is superior to SOTA （State-Of-The-Art） methods like Self-supervised Graph Learning （SGL） and Simple Graph Contrastive Learning （SimGCL） on recall and Normalized Discounted Cumulative Gain （NDCG）. The method’s improvement over the base model Light Graph Convolutional Network （LightGCN） can reach up to 17.6% at NDCG@20.

Key words: recommendation system, Contrastive Learning (CL), self-supervised learning, graph neural network, data augmentation

中图分类号:

TP391

汪炅, 唐韬韬, 贾彩燕. 无负采样的正样本增强图对比学习推荐方法PAGCL[J]. 计算机应用, 2024, 44(5): 1485-1492.

Jiong WANG, Taotao TANG, Caiyan JIA. PAGCL： positive augmentation graph contrastive learning recommendation method without negative sampling[J]. Journal of Computer Applications, 2024, 44(5): 1485-1492.

图/表 14

表1 使用不同损失函数的LightGCN和SGL的实验结果

Tab. 1 Experiment results of LightGCN and SGL with different losses

方法	Yelp2018		Amazon-Book		Amazon-Kindle
方法	R@20	N@20	R@20	N@20	R@20	N@20
LightGCN	0.063 9	0.052 5	0.041 0	0.031 8	0.205 7	0.131 5
LightGCN-WN	0.031 4	0.026 0	0.008 3	0.006 7	0.001 7	0.000 9
SGL	0.067 5	0.055 5	0.047 8	0.037 9	0.209 0	0.135 2
SGL-WN	0.067 8	0.055 9	0.048 2	0.038 1	0.211 2	0.136 2

图1 1 000个随机选择的节点在S1上的分布

Fig. 1 Distribution of 1 000 randomly selected nodes in S1

图2 2个随机选择的用户及其正样本在二维空间中的分布

Fig. 2 Distributions of two randomly selected users and positive samples in two-dimensional space

图3 PAGCL方法流程

Fig. 3 Flow of PAGCL method

图4 PAGCL表示扰动过程

Fig. 4 Perturbation process of PAGCL representation

表2 实验数据集统计信息

Tab. 2 Statistics of experiment datasets

数据集	用户数	项目数	交互次数	密度/%
Yelp2018	31 668	38 048	1 561 406	0.130
Amazon-Kindle	138 333	98 572	1 909 965	0.014
Alibaba-iFashion	300 000	81 614	1 607 813	0.007

表3 不同对比学习方法的最佳超参数

Tab. 3 Best hyperparameters of different constrative learning methods

方法	Yelp2018	Amazon-Kindle	Alibaba-iFashion
SGL	$λ 2 = 0.1, ρ = 0.1$	$λ 2 = 0.05, ρ = 0.1$	$λ 2 = 0.05, ρ = 0.2$
SimGCL	$λ 2 = 0.5, ε = 0.1$	$λ 2 = 0.1, ε = 0.1$	$λ 2$ =0.05， $ε$ =0.1
XSimGCL	$λ 2 = 0.2,$ $ε = 0.2, l * = 1$	$λ 2 = 0.2,$ $ε = 0.1, l * = 1$	$λ 2 = 0.05,$ $ε = 0.05, l * = 3$
PAGCL	$λ 2 = 0.2,$ $ε = 1, l * = 1$	$λ 2 = 0.1,$ $ε = 0.05, l * = 1$	$λ 2 = 0.05,$ $ε = 0.4, l * = 2$

表3 不同对比学习方法的最佳超参数

Tab. 3 Best hyperparameters of different constrative learning methods

方法	Yelp2018	Amazon-Kindle	Alibaba-iFashion
SGL	$λ 2 = 0.1, ρ = 0.1$	$λ 2 = 0.05, ρ = 0.1$	$λ 2 = 0.05, ρ = 0.2$
SimGCL	$λ 2 = 0.5, ε = 0.1$	$λ 2 = 0.1, ε = 0.1$	$λ 2$ =0.05， $ε$ =0.1
XSimGCL	$λ 2 = 0.2,$ $ε = 0.2, l * = 1$	$λ 2 = 0.2,$ $ε = 0.1, l * = 1$	$λ 2 = 0.05,$ $ε = 0.05, l * = 3$
PAGCL	$λ 2 = 0.2,$ $ε = 1, l * = 1$	$λ 2 = 0.1,$ $ε = 0.05, l * = 1$	$λ 2 = 0.05,$ $ε = 0.4, l * = 2$

表4 不同SOTA方法在3个基准测试上的总体性能比较

Tab. 4 Overall performance comparison among different SOTA methods on three benchmarks

方法	Yelp2018		Amazon-Kindle		Alibaba-iFashion
方法	R@20	N@20	R@20	N@20	R@20	N@20
LightGCN	0.063 9	0.052 5	0.205 7	0.131 5	0.105 3	0.050 5
SGL	0.067 5（+5.6%）	0.055 5（+5.7%）	0.209 0（+1.6%）	0.135 2（+2.8%）	0.109 3（+3.8%）	0.053 1（+5.1%）
NCL	0.067 0（+4.9%）	0.056 2（+7.0%）	0.209 0（+1.6%）	0.134 8（+2.5%）	0.108 8（+3.3%）	0.052 8（+4.6%）
MixGCF	0.071 3（+11.6%）	0.058 9（+12.2%）	0.209 8（+2.0%）	0.135 5（+3.0%）	0.108 5（+3.0%）	0.052 0（+3.0%）
SimGCL	0.072 1（+12.8%）	0.060 1（+14.5%）	0.210 4（+2.3%）	0.137 4（+4.5%）	0.115 1（+9.3%）	0.056 7（+12.3%）
XSimGCL	0.072 3（+13.1%）	0.060 4（+15.0%）	0.214 7（+4.4%）	0.141 5（+7.6%）	0.119 6（+13.6%）	0.058 6（+16.0%）
PAGCL	0.073 2（+14.6%）	0.061 2（+16.6%）	0.217 1（+5.5%）	0.143 9（+9.4%）	0.120 8（+14.7%）	0.059 4（+17.6%）

图5 不同方法在3类物品上的性能对比

Fig. 5 Performance comparison of different methods on three groups of items

表5 各对比方法的时间复杂度

Tab. 5 Time complexities of contrast methods

方法	邻接矩阵	图编码	推荐	对比
SGL	$2 G + 4 ρ G$	$(2 + 4 ρ) G L d$	2Bd	BMd
SimGCL	$2 G$	$6 G L d$	2Bd	BMd
XSimGCL	$2 G$	$2 G L d$	2Bd	BMd
PAGCL	$2 G$	$2 G L d$	Bd	BMd

表5 各对比方法的时间复杂度

Tab. 5 Time complexities of contrast methods

方法	邻接矩阵	图编码	推荐	对比
SGL	$2 G + 4 ρ G$	$(2 + 4 ρ) G L d$	2Bd	BMd
SimGCL	$2 G$	$6 G L d$	2Bd	BMd
XSimGCL	$2 G$	$2 G L d$	2Bd	BMd
PAGCL	$2 G$	$2 G L d$	Bd	BMd

图6 λ2对预测性能的影响

Fig. 6 Influence of λ2 on prediction performance

图7 ε对预测性能的影响

Fig. 7 Influence of ε on prediction performance

表6 PAGCL不同层数L结果比较

Tab. 6 Results of PAGCL with different layers L

方法	Yelp2018		Amazon-Kindle		Alibaba-iFashion
方法	R@20	N@20	R@20	N@20	R@20	N@20
PAGCL-2L	0.073 2	0.061 2	0.214 5	0.140 5	0.120 8	0.059 4
PAGCL-3L	0.072 6	0.060 4	0.217 1	0.143 9	0.120 4	0.058 7

表7 使用不同损失的SOTA对比学习方法的结果比较

Tab. 7 Result comparison of SOTA CL-based methods with different losses

方法	Yelp2018		Amazon-Kindle		Alibaba-iFashion
方法	R@20	N@20	R@20	N@20	R@20	N@20
LightGCN	0.063 9	0.052 5	0.205 7	0.131 5	0.105 3	0.050 5
LightGCN-WN	0.031 4	0.026 0	0.001 7	0.000 9	0.000 1	0.000 0
SGL	0.067 5	0.055 5	0.209 0	0.135 2	0.109 3	0.053 1
SGL-WN	0.067 8	0.055 9	0.211 2	0.136 2	0.101 8	0.050 1
SimGCL	0.072 1	0.060 1	0.210 4	0.137 4	0.115 1	0.056 7
SimGCL-WN	0.072 0	0.060 1	0.211 3	0.138 7	0.115 1	0.056 5
XSimGCL	0.072 3	0.060 4	0.214 7	0.141 5	0.119 6	0.058 6
XSimGCL-WN	0.072 6	0.060 4	0.216 1	0.143 2	0.118 6	0.058 2
PAGCL-N	0.072 9	0.061 1	0.215 5	0.140 2	0.121 1	0.059 3
PAGCL	0.073 2	0.061 2	0.217 1	0.143 9	0.120 8	0.059 4

参考文献 26

1	CHEN T， KORNBLITH S， NOROUZI M， et al. A simple framework for contrastive learning of visual representations［C］// Proceedings of the 37th International Conference on Machine Learning. New York： JMLR， 2020： 1597-1607.
2	HE K， FAN H， WU Y， et al. Momentum contrast for unsupervised visual representation learning［C］// Proceedings of the 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Washington， DC： IEEE Computer Society， 2020： 9729-9738. 10.1109/cvpr42600.2020.00975
3	WU J， WANG X， FENG F， et al. Self-supervised graph learning for recommendation［C］// Proceedings of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2021： 726-735. 10.1145/3404835.3462862
4	YU J， YIN H， XIA X， et al. Are graph augmentations necessary？ simple graph contrastive learning for recommendation［C］// Proceedings of the 45th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2022： 1294-1303. 10.1145/3477495.3531937
5	RENDLE S， FREUDENTHALER C， GANTNER Z， et al. BPR： Bayesian personalized ranking from implicit feedback［EB/OL］. ［2023-01-12］. . 10.1145/3339363.3339370
6	VAN DEN OORD A， LI Y， VINYALS O. Representation learning with contrastive predictive coding［EB/OL］. ［2023-01-06］. .
7	WANG C， YU Y， MA W， et al. Towards representation alignment and uniformity in collaborative filtering［C］// Proceedings of the 28th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. New York： ACM， 2022： 1816-1825. 10.1145/3534678.3539253
8	WANG T， ISOLA P. Understanding contrastive representation learning through alignment and uniformity on the hypersphere［C］// Proceedings of the 2020 International Conference on Machine Learning. New York： JMLR， 2020： 9929-9939.
9	HUANG T， DONG Y， DING M， et al. MixGCF： an improved training method for graph neural network-based recommender systems［C］// Proceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery & Data Mining. New York： ACM， 2021： 665-674. 10.1145/3447548.3467408
10	PARK D H， CHANG Y. Adversarial sampling and training for semi-supervised information retrieval［C］// Proceedings of the 2019 World Wide Web Conference. New York： ACM， 2019： 1443-1453. 10.1145/3308558.3313416
11	YANG Z， DING M， ZHOU C， et al. Understanding negative sampling in graph representation learning［C］// Proceedings of the 26th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York： ACM， 2020： 1666-1676. 10.1145/3394486.3403218
12	SCARSELLI F， GORI M， TSOI A C， et al. The graph neural network model［J］. IEEE Transactions on Neural Networks， 2009， 20（1）： 61-80. 10.1109/tnn.2008.2005605
13	GAO C， WANG X， HE X， et al. Graph neural networks for recommender system［C］// Proceedings of the 15th ACM International Conference on Web Search and Data Mining. New York： ACM， 2022： 1623-1625. 10.1145/3488560.3501396
14	WU S， SUN F， ZHANG W， et al. Graph neural networks in recommender systems： a survey［J］. ACM Computing Survey， 2022， 55（5）： No. 97. 10.1145/3535101
15	KIPF T N， WELLING M. Semi-supervised classification with graph convolutional networks［EB/OL］. ［2023-01-18］. . 10.48550/arXiv.1609.02907
16	WANG X， HE X， WANG M， et al. Neural graph collaborative filtering［C］// Proceedings of the 42th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2019： 165-174. 10.1145/3331184.3331267
17	HE X， DENG K， WANG X， et al. LightGCN： simplifying and powering graph convolution network for recommendation［C］// Proceedings of the 43th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2020： 639-648. 10.1145/3397271.3401063
18	VAN DEN BERG R， KIPF T N， WELLING M. Graph convolutional matrix completion［EB/OL］. （2017-06-07）［2023-01-14］. . 10.48550/arXiv.1706.02263
19	YU W， QIN Z. Graph convolutional network for recommendation with low-pass collaborative filters［C］// Proceedings of the 2020 International Conference on Machine Learning. New York： JMLR， 2020： 10936-10945.
20	YU J， YIN H， GAO M， et al. Socially-aware self-supervised tri-training for recommendation［C］// Proceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery & Data Mining. New York： ACM， 2021： 2084-2092. 10.1145/3447548.3467340
21	YU J， YIN H， LI J， et al. Self-supervised multi-channel hypergraph convolutional network for social recommendation［C］// Proceedings of the Web Conference 2021. New York： ACM， 2021： 413-424. 10.1145/3442381.3449844
22	YU J， XIA X， CHEN T， et al. XSimGCL： towards extremely simple graph contrastive learning for recommendation［EB/OL］. ［2022-12-11］. . 10.1109/tkde.2023.3288135
23	ZHANG J， GAO M， YU J， et al. Double-scale self-supervised hypergraph learning for group recommendation［C］// Proceedings of the 30th ACM International Conference on Information & Knowledge Management. New York： ACM， 2021： 2557-2567. 10.1145/3459637.3482426
24	VAN DER MAATEN L， HINTON G. Visualizing data using t-SNE［J］. Journal of Machine Learning Research， 2008， 9（11）： 2579-2605.
25	CHEN W， HUANG P， XU J， et al. POG： personalized outfit generation for fashion recommendation at Alibaba iFashion［C］// Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining. New York： ACM， 2019： 2662-2670. 10.1145/3292500.3330652
26	LIN Z， TIAN C， HOU Y， et al. Improving graph collaborative filtering with neighborhood-enriched contrastive learning［C］// Proceedings of the ACM Web Conference 2022. New York： ACM， 2022： 2320-2329. 10.1145/3485447.3512104

[1]	黄荣, 宋俊杰, 周树波, 刘浩. 基于自监督视觉Transformer的图像美学质量评价方法[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1269-1276.
[2]	郭洁, 林佳瑜, 梁祖红, 罗孝波, 孙海涛. 基于知识感知和跨层次对比学习的推荐方法[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1121-1127.
[3]	徐大鹏, 侯新民. 基于网络结构设计的图神经网络特征选择方法[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 663-670.
[4]	荆智文, 张屿佳, 孙伯廷, 郭浩. 二阶段孪生图卷积神经网络推荐算法[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 469-476.
[5]	党伟超, 张磊, 高改梅, 刘春霞. 融合片段对比学习的弱监督动作定位方法[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 548-555.
[6]	郭安迪, 贾真, 李天瑞. 基于伪实体数据增强的高精准率医学领域实体关系抽取[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 393-402.
[7]	王红斌, 房晓, 江虹. 融入三维语义特征的常识推理问答方法[J]. 《计算机应用》唯一官方网站, 2024, 44(1): 138-144.
[8]	佟威, 何理扬, 李锐, 黄威, 黄振亚, 刘淇. 基于无监督语义哈希的高效相似题检索模型[J]. 《计算机应用》唯一官方网站, 2024, 44(1): 206-216.
[9]	黄懿蕊, 罗俊玮, 陈景强. 基于对比学习和GIF标记的多模态对话回复检索[J]. 《计算机应用》唯一官方网站, 2024, 44(1): 32-38.
[10]	张雨宁, 阿布都克力木·阿布力孜, 梅悌胜, 徐春, 麦尔达娜·买买提热依木, 哈里旦木·阿布都克里木, 侯钰涛. 基于自监督特征提取的骨骼X线影像异常检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(1): 175-181.
[11]	罗俊豪, 朱焱. 用于未对齐多模态语言序列情感分析的多交互感知网络[J]. 《计算机应用》唯一官方网站, 2024, 44(1): 79-85.
[12]	马国帅, 钱宇华, 张亚宇, 李俊霞, 刘郭庆. 动态异构信息融合的科研合作潜力预测[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2775-2783.
[13]	潘润超, 虞启山, 熊泓霏, 刘智慧. 基于深度图神经网络的协同推荐算法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2741-2746.
[14]	郑浩东, 马华, 谢颖超, 唐文胜. 融合遗忘因素与记忆门的图神经网络知识追踪模型[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2747-2752.
[15]	衡红军, 杨鼎诚. 知识增强的方面词交互图神经网络[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2412-2419.

无负采样的正样本增强图对比学习推荐方法PAGCL

PAGCL： positive augmentation graph contrastive learning recommendation method without negative sampling

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 14

参考文献 26

相关文章 15

编辑推荐

Metrics