基于知识感知与交互的多视图蒸馏推荐算法

doi:10.11772/j.issn.1001-9081.2024070948

《计算机应用》唯一官方网站 ›› 2025, Vol. 45 ›› Issue (7): 2211-2220.DOI: 10.11772/j.issn.1001-9081.2024070948

基于知识感知与交互的多视图蒸馏推荐算法

张悦岚, 苏静(), 赵航宇, 杨白利

天津科技大学人工智能学院，天津 300457

收稿日期:2024-07-08 修回日期:2024-09-19 接受日期:2024-09-26 发布日期:2025-07-10 出版日期:2025-07-10
通讯作者: 苏静
作者简介:张悦岚（2000—），女，贵州黔西人，硕士研究生，CCF会员，主要研究方向：推荐算法
苏静（1979—），女，北京人，教授，博士，CCF会员，主要研究方向：智能信息处理 sujing@tust.edu.cn
赵航宇（1999—），男，河南禹州人，硕士研究生，主要研究方向：模式识别
杨白利（2000—），女，河北武安人，硕士研究生，主要研究方向：卷积神经网络。
基金资助:
国家自然科学基金资助项目(62377036);天津市科技计划项目(22KPXMRC00210)

Multi-view knowledge-aware and interactive distillation recommendation algorithm

Yuelan ZHANG, Jing SU(), Hangyu ZHAO, Baili YANG

College of Artificial Intelligence，Tianjin University of Science and Technology，Tianjin 300457，China

Received:2024-07-08 Revised:2024-09-19 Accepted:2024-09-26 Online:2025-07-10 Published:2025-07-10
Contact: Jing SU
About author:ZHANG Yuelan， born in 2000， M. S. candidate. Her research interests include recommendation algorithms.
SU Jing， born in 1979， Ph. D.， professor. Her research interests include intelligent information processing.
ZHAO Hangyu， born in 1999， M. S. candidate. His research interests include pattern recognition.
YANG Baili， born in 2000， M. S. candidate. Her research interests include convolutional neural networks.
Supported by:
National Natural Science Foundation of China(62377036);Tianjin Science and Technology Project(22KPXMRC00210)

摘要/Abstract

摘要：

目前，基于协同过滤的图神经网络（GNN）推荐系统存在严重的数据稀疏和冷启动问题。很多相关算法引入项目的外部知识进行补充性扩展使这些问题得以缓解，然而这些算法忽略了稀疏协同信号和冗余补充内容直接结合所导致的信息利用严重不平衡以及不同数据之间的共享传递问题。因此，设计一种基于知识感知与交互的多视图蒸馏推荐算法（MKDRec）。首先，针对协同数据的稀疏性，对交互图采用随机丢弃以增强形成的协同视图，再将该视图下的节点表征进行邻域对比学习；其次，关于知识冗余问题，对知识视图中的每种关系的边进行编码，并基于头尾实体和连接关系重构项目知识视图，使信息得到充分利用；最后，基于项目与实体间的等价关系构建具有远程连接的关联视图。至此，对3个视图以不同卷积聚合方式学习图节点表征来提取多种用户与项目的信息，并得出多个用户与项目的嵌入表示。此外，将两两视图的节点特征向量进行知识蒸馏融合以实现信息的共享和传递。MKDRec在数据集Book-Crossing、MovieLens-1M和Last.FM上的实验结果显示，相较于最好的基线方法结果，MKDRec的曲线下面积（AUC）分别提升了2.13%、1.07%和3.44%，而F1分数分别提升了3.56%、1.14%和4.46%。

关键词: 推荐算法, 图神经网络, 多视图融合, 知识蒸馏, 局部增强

Abstract:

Currently， collaborative filtering-based Graph Neural Network （GNN） recommendation systems face data sparsity and cold start issues. Many related algorithms introduce external knowledge of items for supplementary expansion to alleviate these issues， but these algorithms ignore the severe information utilization imbalance caused by direct fusion of sparse collaborative signals and redundant supplementary parts， as well as the problems of information sharing and propagation among different data. Therefore， a Multi-view Knowledge-aware and interactive Distillation Recommendation algorithm （MKDRec） was proposed. Firstly， to tackle data sparsity， the formed collaborative view was enhanced through random dropout， and then neighborhood contrastive learning was applied to node representations in this view. Secondly， regarding to knowledge redundancy problem， each relation type of edge in the knowledge view was encoded， and an items’ knowledge view was reconstructed on the basis of the head and tail entities as well as connecting relations to fully utilize the information. Finally， an associated view with remote connections was constructed on the basis of the equivalence relations between items and entities. With all the above， graph node representations were learned by different convolutional aggregation methods on the three views to extract multiple types of information for users and items， and embedded representations of multiple users and items were obtained. Besides， knowledge distillation and fusion of node feature vectors in pairwise views were performed to realize information sharing and propagation. Experimental results on Book-Crossing， MovieLens-1M， and Last.FM datasets show that compared to the best results among the baseline methods， MKDRec’s AUC （Area Under Curve） are improved by 2.13%， 1.07%， and 3.44%， respectively， and MKDRec’s F1-scores are improved by 3.56%， 1.14%， and 4.46%， respectively.

Key words: recommendation algorithm, Graph Neural Network (GNN), multi-view fusion, knowledge distillation, local enhancement

中图分类号:

TP391.1

张悦岚, 苏静, 赵航宇, 杨白利. 基于知识感知与交互的多视图蒸馏推荐算法[J]. 计算机应用, 2025, 45(7): 2211-2220.

Yuelan ZHANG, Jing SU, Hangyu ZHAO, Baili YANG. Multi-view knowledge-aware and interactive distillation recommendation algorithm[J]. Journal of Computer Applications, 2025, 45(7): 2211-2220.

图/表 15

图1 本文模型的结构

Fig. 1 Structure of proposed model

图2 多视图知识蒸馏融合

Fig. 2 Multi-view knowledge distillation and fusion

表1 实验数据集的统计信息

Tab. 1 Statistical information of experiment datasets

数据集	用户数	项目数	交互数	实体数	关系数	三元组数
Book-Crossing	17 860	14 967	139 746	77 903	25	151 500
MovieLens-1M	6 036	2 445	753 772	182 011	12	1 241 996
Last.FM	1 872	3 846	42 346	9 366	60	15 518

表2 不同模型的整体性能比较

Tab. 2 Overall performance comparison of different models

模型	Booking-Crossing		MovieLens-1M		Last.FM
模型	AUC	F1	AUC	F1	AUC	F1
BPR	0.659 5	0.613 7	0.892 6	0.793 4	0.757 0	0.701 2
CKE	0.675 1	0.625 1	0.908 6	0.802 5	0.748 1	0.674 6
RippleNet	0.721 7	0.645 8	0.918 9	0.842 6	0.776 0	0.703 4
PER	0.605 8	0.574 3	0.714 8	0.667 4	0.640 1	0.604 5
KGNN-LS	0.676 8	0.632 1	0.914 9	0.841 0	0.805 8	0.724 1
KGAT	0.732 4	0.654 1	0.914 1	0.844 7	0.829 7	0.743 7
CKAN	0.740 7	0.667 4	0.909 3	0.840 7	0.841 2	0.758 4
KGIN	0.729 8	0.661 6	0.918 5	0.842 7	0.847 8	0.761 1
CG-KGR	0.748 7	0.668 5	0.911 6	0.836 0	0.834 3	0.745 1
KGIC	0.7597	0.6765	0.921 5	0.852 5	0.843 4	0.7698
KGRec	0.730 5	0.671 9	0.9279	0.8559	0.8529	0.767 2
MKDRec	0.775 9	0.700 6	0.937 9	0.865 7	0.882 3	0.804 2

图3 消融实验结果

Fig. 3 Ablation experimental results

表3 协同视图卷积聚合层数l对AUC和F1的影响

Tab. 3 Influence of convolutional aggregation layers l on AUC and F1 in collaborative view

l	Booking-Crossing		MovieLens-1M		Last.FM
l	AUC	F1	AUC	F1	AUC	F1
1	0.754 6	0.684 2	0.933 1	0.860 9	0.873 5	0.793 1
2	0.7725	0.6986	0.9377	0.8631	0.8822	0.8042
3	0.756 5	0.690 3	0.932 2	0.859 9	0.876 0	0.800 1

表4 知识视图卷积聚合层数k对AUC和F1的影响

Tab. 4 Influence of convolutional aggregation layers k on AUC and F1 in knowledge view

k	Booking-Crossing		MovieLens-1M		Last.FM
k	AUC	F1	AUC	F1	AUC	F1
1	0.7738	0.6950	0.9368	0.8642	0.881 7	0.801 9
2	0.771 4	0.685 1	0.936 3	0.863 8	0.8823	0.8042
3	0.768 3	0.684 9	0.936 1	0.862 7	0.881 4	0.803 5

表5 关联视图卷积聚合层数t对AUC和F1的影响

Tab. 5 Influence of convolutional aggregation layers t on AUC and F1 in associated view

t	Booking-Crossing		MovieLens-1M		Last.FM
t	AUC	F1	AUC	F1	AUC	F1
1	0.775 9	0.697 9	0.9379	0.8657	0.880 0	0.794 7
2	0.774 6	0.693 5	0.937 7	0.863 1	0.8822	0.8041
3	0.774 1	0.691 7	0.936 1	0.861 6	0.875 9	0.796 2

表6 对比增强损失权重λ1对AUC和F1的影响

Tab. 6 Influence of contrastive enhancement loss weight λ1 on AUC and F1

λ₁	Booking		MovieLens		Last.FM
λ₁	AUC	F1	AUC	F1	AUC	F1
10^-3	0.774 9	0.691 8	0.937 5	0.865 2	0.881 2	0.803 4
10^-2	0.775 1	0.692 1	0.9378	0.8654	0.8821	0.8042
10^-1	0.7762	0.6987	0.927 6	0.855 2	0.880 7	0.803 9
10⁰	0.765 6	0.682 3	0.860 4	0.794 4	0.828 0	0.740 6

图4 在Book-Crossing数据集上蒸馏损失比例λ2的影响

Fig. 4 Influence of λ2 on Book-Crossing dataset

图5 在Last.FM数据集上蒸馏损失比例λ2的影响

Fig. 5 Influence of λ2 on Last.FM dataset

图6 不同数据稀疏性下的F1对比

Fig. 6 Performance comparison of different data sparsity levels

图7 不同模型的嵌入可视化分析

Fig. 7 Embeddings of visualization analysis of different models

表7 嵌入的平均距离均值

Tab. 7 Mean distance of embeddings

模型	平均距离均值
MKDRec	19.14
KGIC	22.82
KGRec	21.94

表8 不同模型的时间复杂度和平均训练时间对比

Tab. 8 Comparison of time complexity and average training time among different models

模型	时间复杂度	平均训练时间/s
KGIN	$O V ε d + ε d$	10.94
KGIC	$O V 2 d + V ε d$	11.27
KGRec	$O V 2 d + ε d$	8.13
MKDRec	$O V 2 d + V d + ε d$	9.42

表8 不同模型的时间复杂度和平均训练时间对比

Tab. 8 Comparison of time complexity and average training time among different models

模型	时间复杂度	平均训练时间/s
KGIN	$O V ε d + ε d$	10.94
KGIC	$O V 2 d + V ε d$	11.27
KGRec	$O V 2 d + ε d$	8.13
MKDRec	$O V 2 d + V d + ε d$	9.42

参考文献 37

[1]	许小颖，陈熙，陈源，等.区块链在个性化推荐系统中的应用研究综述［J］.大数据，2022， 8（3）： 87-102.
	XU X Y， CHEN X， CHEN Y， et al. A review of blockchain applications in personalized recommender systems ［J］. Big Data Research， 2022， 8（3）： 87-102.
[2]	于蒙，何文涛，周绪川，等.推荐系统综述［J］.计算机应用，2022， 42（6）： 1898-1913.
	YU M， HE W T， ZHOU X C， et al. Review of recommendation system ［J］. Journal of Computer Applications， 2022， 42（6）： 1898-1913.
[3]	LIAN J， ZHOU X， ZHANG F， et al. xDeepFM： combining explicit and implicit feature interactions for recommender systems ［C］// Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2018： 1754-1763.
[4]	顾嘉静，杨丹，聂铁铮，等.基于多视图融合跨层对比学习的推荐算法［J］.计算机工程，2024， 50（1）： 120-128.
	GU J J， YANG D， NIE T Z， et al. Recommendation algorithm based on multi-view fusion cross-layer contrastive learning ［J］. Computer Engineering， 2024， 50（1）： 120-128.
[5]	YING R， HE R， CHEN K， et al. Graph convolutional neural networks for Web-scale recommender systems ［C］// Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2018： 974-983.
[6]	WANG X， HE X， WANG M， et al. Neural graph collaborative filtering ［C］// Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2019： 165-174.
[7]	LIN Z， TIAN C， HOU Y， et al. Improving graph collaborative filtering with neighborhood-enriched contrastive learning ［C］// Proceedings of the ACM Web Conference 2022. New York： ACM， 2022： 2320-2329.
[8]	BORDES A， USUNIER N， GARCIA-DURÁN A， et al. Translating embeddings for modeling multi-relational data ［C］// Proceedings of the 27th International Conference on Neural Information Processing Systems — Volume 2. Red Hook： Curran Associates Inc.， 2013： 2787-2795.
[9]	WANG X， WANG D， XU C， et al. Explainable reasoning over knowledge graphs for recommendation ［C］// Proceedings of the 33rd AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2019： 5329-5336.
[10]	HU B B， SHI C， XIN ZHAO W N， et al. Leveraging meta-path based context for top-N recommendation with a neural co-attention model ［C］// Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2018： 1531-1540.
[11]	HONG H， GUO H， LIN Y， et al. An attention-based graph neural network for heterogeneous structural learning ［C］// Proceedings of the 34th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2020： 4132-4139.
[12]	WANG H， ZHANG F， WANG J， et al. RippleNet： propagating user preferences on the knowledge graph for recommender systems ［C］// Proceedings of the 27th ACM International Conference on Information and Knowledge Management. New York： ACM， 2018： 417-426.
[13]	WANG H， ZHAO M， XIE X， et al. Knowledge graph convolutional networks for recommender systems ［C］// Proceedings of the 2019 World Wide Web Conference. New York： ACM， 2019： 3307-3313.
[14]	WANG X， HUANG T， WANG D， et al. Learning intents behind interactions with knowledge graph for recommendation ［C］// Proceedings of the Web Conference 2021. New York： ACM， 2021： 878-887.
[15]	李瑞征，赵加坤.一种融合知识图注意神经网络的推荐算法［J］.计算机应用与软件，2024， 41（3）： 276-282.
	LI R Z， ZHAO J K. Knowledge graph attention network for recommendation systems ［J］. Computer Applications and Software， 2024， 41（3）： 276-282.
[16]	ZOU D， WEI W， WANG Z， et al. Improving knowledge-aware recommendation with multi-level interactive contrastive learning ［C］// Proceedings of the 31st ACM International Conference on Information and Knowledge Management. New York： ACM， 2022： 2817-2826.
[17]	程章桃，钟婷，张晟铭，等.基于图学习的推荐系统研究综述［J］.计算机科学，2022， 49（9）： 1-13.
	CHENG Z T， ZHONG T， ZHANG S M， et al. Survey of recommender systems based on graph learning ［J］. Computer Science， 2022， 49（9）： 1-13.
[18]	YANG Y， HUANG C， XIA L， et al. Knowledge graph self-supervised rationalization for recommendation ［C］// Proceedings of the 29th ACM SIGKDD Conference on Knowledge Discovery and Data Mining. New York： ACM， 2023： 3046-3056.
[19]	CHEN L， WU L， HONG R， et al. Revisiting graph based collaborative filtering： a linear residual graph convolutional network approach ［C］// Proceedings of the 34th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2020： 27-34.
[20]	HE X， DENG K， WANG X， et al. LightGCN： simplifying and powering graph convolution network for recommendation ［C］// Proceedings of the 43rd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2020： 639-648.
[21]	WU J， WANG X， FENG F， et al. Self-supervised graph learning for recommendation ［C］// Proceedings of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2021： 726-735.
[22]	XIA L， HUANG C， XU Y， et al. Hypergraph contrastive collaborative filtering ［C］// Proceedings of the 45th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2022： 70-79.
[23]	YANG Y， HUANG C， XIA L， et al. Knowledge graph contrastive learning for recommendation ［C］// Proceedings of the 45th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2022： 1434-1443.
[24]	刘静，郑铜亚，郝沁汾.图知识蒸馏综述：算法分类与应用分析［J］.软件学报，2024， 35（2）： 675-710.
	LIU J， ZHENG T Y， HAO Q F. Survey on knowledge distillation with graph： algorithms classification and application analysis ［J］. Journal of Software， 2024， 35（2）： 675-710.
[25]	MINAMI S， HIRAKAWA T， YAMASHITA T， et al. Knowledge transfer graph for deep collaborative learning ［C］// Proceedings of the 2020 Asian Conference on Computer Vision， LNCS 12625. Cham： Springer， 2021： 203-217.
[26]	WANG H， LIAN D， GE Y. Binarized collaborative filtering with distilling graph convolutional networks ［C］// Proceedings of the 28th International Joint Conference on Artificial Intelligence. California： ijcai.org， 2019： 4802-4808.
[27]	ZHANG Z， SHU X， YU B， et al. Distilling knowledge from well-informed soft labels for neural relation extraction ［C］// Proceedings of the 34th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2020： 9620-9627.
[28]	TAO Y， LI Y， ZHANG S， et al. Revisiting graph based social recommendation： a distillation enhanced social graph network ［C］// Proceedings of the ACM Web Conference 2022. New York： ACM， 2022： 2830-2838.
[29]	KANG S， HWANG J， KWEON W， et al. DE-RRD： a knowledge distillation framework for recommender system ［C］// Proceedings of the 29th ACM International Conference on Information and Knowledge Management. New York： ACM， 2020： 605-614.
[30]	KWEON W B， KANG S K， YU H. Bidirectional distillation for top-K recommender system ［C］// Proceedings of the Web Conference 2021. New York： ACM， 2021： 3861-3871.
[31]	RENDLE S， FREUDENTHALER C， GANTNER Z， et al. BPR： Bayesian personalized ranking from implicit feedback ［C］// Proceedings of the 25th Conference on Uncertainty in Artificial Intelligence. Arlington， VA： AUAI Press， 2009： 452-461.
[32]	ZHANG F， YUAN N J， LIAN D， et al. Collaborative knowledge base embedding for recommender systems ［C］// Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2016： 353-362.
[33]	YU X， REN X， SUN Y， et al. Personalized entity recommendation： a heterogeneous information network approach ［C］// Proceedings of the 7th ACM International Conference on Web Search and Data Mining. New York： ACM， 2014： 283-292.
[34]	WANG H， ZHANG F， ZHANG M， et al. Knowledge-aware graph neural networks with label smoothness regularization for recommender systems ［C］// Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2019： 968-977.
[35]	WANG X， HE X， CAO Y， et al. KGAT： knowledge graph attention network for recommendation ［C］// Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2019： 950-958.
[36]	WANG Z， LIN G， TAN H， et al. CKAN： collaborative knowledge-aware attentive network for recommender systems ［C］// Proceedings of the 43rd International ACM SIGIR Conference on Research and Development. New York： ACM， 2020： 219-228.
[37]	CHEN Y， YANG Y， WANG Y， et al. Attentive knowledge-aware graph convolutional networks with collaborative guidance for personalized recommendation ［C］// Proceedings of the IEEE 38th International Conference on Data Engineering. Piscataway： IEEE， 2022： 299-311.

基于知识感知与交互的多视图蒸馏推荐算法

Multi-view knowledge-aware and interactive distillation recommendation algorithm

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 15

参考文献 37

相关文章 15

编辑推荐

Metrics

[1]	陈丹阳, 张长伦. 多尺度去相关的图卷积网络模型[J]. 《计算机应用》唯一官方网站, 2025, 45(7): 2180-2187.
[2]	梁辰, 王奕森, 魏强, 杜江. 基于Tsransformer-GCN的源代码漏洞检测方法[J]. 《计算机应用》唯一官方网站, 2025, 45(7): 2296-2303.
[3]	张子墨, 赵雪专. 多尺度稀疏图引导的视觉图神经网络[J]. 《计算机应用》唯一官方网站, 2025, 45(7): 2188-2194.
[4]	姜超英, 李倩, 刘宁, 刘磊, 崔立真. 基于图对比学习的再入院预测模型[J]. 《计算机应用》唯一官方网站, 2025, 45(6): 1784-1792.
[5]	牛四杰, 刘昱良. 基于知识蒸馏双分支结构的视网膜病变辅助诊断方法[J]. 《计算机应用》唯一官方网站, 2025, 45(5): 1410-1414.
[6]	游兰, 张雨昂, 刘源, 陈智军, 王伟, 曾星, 何张玮. 基于协作贡献网络的开源项目开发者推荐[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1213-1222.
[7]	田仁杰, 景明利, 焦龙, 王飞. 基于混合负采样的图对比学习推荐算法[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1053-1060.
[8]	党伟超, 温鑫瑜, 高改梅, 刘春霞. 基于多视图多尺度对比学习的图协同过滤[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1061-1068.
[9]	王聪, 史艳翠. 基于多视角学习的图神经网络群组推荐模型[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1205-1212.
[10]	张学飞, 张丽萍, 闫盛, 侯敏, 赵宇博. 知识图谱与大语言模型协同的个性化学习推荐[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 773-784.
[11]	马汉达, 吴亚东. 多域时空层次图神经网络的空气质量预测[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 444-452.
[12]	杨晟, 李岩. 面向目标检测的对比知识蒸馏方法[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 354-361.
[13]	蔡启健, 谭伟. 语义图增强的多模态推荐算法[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 421-427.
[14]	余肖生, 王智鑫. 基于多层次图对比学习的序列推荐模型[J]. 《计算机应用》唯一官方网站, 2025, 45(1): 106-114.
[15]	程子栋, 李鹏, 朱枫. 物联网威胁情报知识图谱中潜在关系的挖掘[J]. 《计算机应用》唯一官方网站, 2025, 45(1): 24-31.