面向个性化课程推荐的分层分期注意力网络模型

doi:10.11772/j.issn.1001-9081.2022091336

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (8): 2358-2363.DOI: 10.11772/j.issn.1001-9081.2022091336

• 第十九届CCF中国信息系统及应用大会 • 上一篇

面向个性化课程推荐的分层分期注意力网络模型

刘源¹^,², 董永权¹^,²(), 贾瑞¹, 杨昊霖¹

^1.江苏师范大学计算机科学与技术学院，江苏徐州 221116
^2.徐州市云计算工程技术研究中心（江苏师范大学），江苏徐州 221116

收稿日期:2022-09-06 修回日期:2022-09-21 接受日期:2022-09-26 发布日期:2022-09-29 出版日期:2023-08-10
通讯作者: 董永权
作者简介:刘源（1997—），男，山东淄博人，硕士研究生，CCF会员，主要研究方向：推荐系统、深度学习
贾瑞（1999—），女，山西临汾人，硕士研究生，主要研究方向：知识追踪、深度学习
杨昊霖（1997—），男，河南商丘人，硕士研究生，主要研究方向：数据集成、多真值发现。
基金资助:
国家自然科学基金资助项目(61872168);江苏省教育科学“十四五”规划课题(D/2021/01/112);江苏师范大学科研与实践创新项目(2022XKT1544)

Hierarchical and phased attention network model for personalized course recommendation

Yuan LIU¹^,², Yongquan DONG¹^,²(), Rui JIA¹, Haolin YANG¹

^1.School of Computer Science and Technology，Jiangsu Normal University，Xuzhou Jiangsu 221116，China
^2.Xuzhou Cloud Computing Engineering Technology Research Center （Jiangsu Normal University），Xuzhou Jiangsu 221116，China

Received:2022-09-06 Revised:2022-09-21 Accepted:2022-09-26 Online:2022-09-29 Published:2023-08-10
Contact: Yongquan DONG
About author:LIU Yuan， born in 1997， M. S. candidate. His research interests include recommender system， deep learning.
JIA Rui， born in 1999， M. S. candidate. Her research interests include knowledge tracking， deep learning.
YANG Haolin， born in 1997， M. S. candidate. His research interests include data integration， multi-truth value discovery.
Supported by:
National Natural Science Foundation of China(61872168);Jiangsu Education Science "the 14th Five Year Plan" Program(D/2021/01/112);Scientific Research and Practical Innovation Project of Jiangsu Normal University(2022XKT1544)

摘要/Abstract

摘要：

随着大规模在线开放课程（MOOC）平台的广泛使用，需要一种有效的方法为用户推荐个性化课程。针对现有的课程推荐方法通常利用课程学习记录为用户的学习兴趣建立整体的静态表示，但忽略了学习兴趣动态变化与用户短期学习兴趣的问题，提出一种分层分期的注意力网络（HPAN）进行个性化课程推荐。该网络的第1层利用注意力网络得到用户的长短期学习兴趣，第2层将用户的长短期学习兴趣和短期交互序列相结合并通过注意力网络得到用户的兴趣向量；然后计算用户兴趣向量与每个课程向量的偏好值，据此为用户进行课程推荐。在XuetangX（学堂在线）公开数据集上的实验结果表明，与次优的序列分层注意力网络（SHAN）模型相比，HPAN模型的Recall@5提高了12.7%，与FPMC（Factorizing Personalized Markov Chains）模型相比，它的MRR@20提高了15.6%。HPAN模型的推荐效果优于对比模型，可解决实际的个性化课程推荐。

Abstract:

With the widespread applications of Massive Open Online Courses （MOOCs） platforms， an effective method is needed for personalized course recommendation. In view of the existing course recommendation methods， which usually use the course learning records to establish the overall static representation for users’ learning interests， while ignoring the dynamic changes of learning interests and users’ short-term learning interests， a Hierarchical and Phased Attention Network （HPAN） was proposed to carry out personalized course recommendation. In the first layer of the network， the attention network was used to obtain the user’s long- and short-term learning interests. In the second layer of the network， the user’s long- and short-term learning interests and short-term interaction sequence were combined to obtain the user’s interest vector through the attention network， then the preference value of the user’s interest vector with each course vector was calculated， and courses were recommended for the user according to the result. Experimental results on public dataset XuetangX show that， compared with the second best SHAN （Sequential Hierarchical Attention Network） model， HPAN model has the Recall@5 increased by 12.7%； compared with FPMC （Factorizing Personalized Markov Chains） model， HPAN model has the MRR@20 increased by 15.6%. HPAN model has better recommendation effect than the comparison models， and can be used for practical personalized course recommendation.

Key words: recommender system, course recommendation, attention mechanism, personalized recommendation, long- and short-term interest

中图分类号:

TP391.3

刘源, 董永权, 贾瑞, 杨昊霖. 面向个性化课程推荐的分层分期注意力网络模型[J]. 计算机应用, 2023, 43(8): 2358-2363.

Yuan LIU, Yongquan DONG, Rui JIA, Haolin YANG. Hierarchical and phased attention network model for personalized course recommendation[J]. Journal of Computer Applications, 2023, 43(8): 2358-2363.

图/表 5

图1 HPAN模型的结构

Fig. 1 Structure of HPAN model

表1 不同模型在MOOCs-Course数据集上的实验结果比较

Tab.1 Comparison of experimental results of different models on MOOCs-Course dataset

模型	BPR	FPMC	SHAN	AttRec	HPAN	Improve/%
R@5	0.078	0.154	0.165	0.113	0.186	12.7
M@5	0.036	0.105	0.063	0.069	0.118	12.4
R@20	0.215	0.337	0.351	0.357	0.378	5.9
M@20	0.039	0.109	0.072	0.074	0.126	15.6
AUC	0.887	0.891	0.899	0.898	0.914	1.7

图2 不同模型的召回率

Fig. 2 Recall of different models

表2 消融实验结果

Tab.2 Results of ablation experiment

方法	R@20	AUC
HPAN-S	0.302	0.890
HPAN-D	0.350	0.894
HPAN	0.378	0.914

表3 不同正则项系数下的R@20

Tab.3 R@20 under different regularization coefficients

$λ p$	$λ e$
$λ p$	0	0.01	0.1
0.00	0.355	0.335	0.239
0.01	0.368	0.359	0.227
0.10	0.375	0.378	0.215

表3 不同正则项系数下的R@20

Tab.3 R@20 under different regularization coefficients

$λ p$	$λ e$
$λ p$	0	0.01	0.1
0.00	0.355	0.335	0.239
0.01	0.368	0.359	0.227
0.10	0.375	0.378	0.215

参考文献 29

1	SILVEIRA DIAS A DA， WIVES L K. Recommender system for learning objects based in the fusion of social signals， interests， and preferences of learner users in ubiquitous e-learning systems［J］. Personal and Ubiquitous Computing， 2019， 23（2）： 249-268. 10.1007/s00779-018-01197-7
2	KLAŠNJA-MILIĆEVIĆ A， VESIN B， IVANOVIĆ M， et al. E-learning personalization based on hybrid recommendation strategy and learning style identification［J］. Computers and Education， 2011， 56（3）：885-899. 10.1016/j.compedu.2010.11.001
3	SHI D Q， WANG T， XING H， et al. A learning path recommendation model based on a multidimensional knowledge graph framework for e-learning［J］. Knowledge-Based Systems， 2020， 195： No.105618. 10.1016/j.knosys.2020.105618
4	RENDLE S， FREUDENTHALER C， SCHMIDT-THIEME L. Factorizing personalized Markov chains for next-basket recommendation［C］// Proceedings of the 19th International Conference on World Wide Web. New York： ACM， 2010：811-820. 10.1145/1772690.1772773
5	HIDASI B， KARATZOGLOU A， BALTRUNAS L， et al. Session-based recommendations with recurrent neural networks［EB/OL］. （2016-03-29）［2022-07-26］..
6	TREISMAN A M， GELADE G. A feature-integration theory of attention［J］. Cognitive Psychology， 1980， 12（1）：97-136. 10.1016/0010-0285(80)90005-5
7	BELLO I， ZOPH B， LE Q， et al. Attention augmented convolutional networks［C］// Proceedings of the 2019 IEEE/CVF International Conference on Computer Vision. Piscataway： IEEE， 2019：3285-3294. 10.1109/iccv.2019.00338
8	VASWANI A， NSHAZEER N， PARMAR N， et al. Attention is all you need［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017：6000-6010.
9	WANG X， HE X N， CAO Y X， et al. KGAT： knowledge graph attention network for recommendation［C］// Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2019： 950-958. 10.1145/3292500.3330989
10	ZHANG L M， LIU P， GULLA J A. Dynamic attention-integrated neural network for session-based news recommendation［J］. Machine Learning， 2019， 108（10）：1851-1875. 10.1007/s10994-018-05777-9
11	XIONG C M， ZHONG V， SOCHER R. Dynamic coattention networks for question answering［EB/OL］. （2018-03-06）［2022-07-26］..
12	CHEN X S， LIU D， ZHA Z J， et al. Temporal hierarchical attention at category- and item-level for micro-video click-through prediction［C］// Proceedings of the 2018 ACM Multimedia Conference. New York： ACM， 2018： 1146-1153. 10.1145/3240508.3240617
13	CHEN J Y， ZHANG H W， HE X N， et al. Attentive collaborative filtering： multimedia recommendation with item- and component-level attention［C］// Proceedings of the 40th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2017：335-344. 10.1145/3077136.3080797
14	DAI Z H， LIU H X， LE Q V， et al. CoAtNet： marrying convolution and attention for all data sizes［C/OL］// Proceedings of the 35th Conference on Neural Information Processing Systems ［2022-07-26］..
15	PAZZANI M J， BILLSUS D. Content-based recommendation systems［M］// BRUSILOVSKY P， KOBSA A， NEJDL W. The Adaptive Web： Methods and Strategies of Web Personalization， LNCS 4321. Berlin： Springer， 2007： 325-341.
16	CHATTI M A， DAKOVA S， THÜS H， et al. Tag-based collaborative filtering recommendation in personal learning environments［J］. IEEE Translation on Learning Technologies， 2013， 6（4）： 337-349. 10.1109/tlt.2013.23
17	CHANG P C， LIN C H， CHEN M H. A hybrid course recommendation system by integrating collaborative filtering and artificial immune systems［J］. Algorithms， 2016， 9（3）： No.47. 10.3390/a9030047
18	ZHANG M， LIU S X， WANG Y F. STR-SA： session-based thread recommendation for online course forum with self-attention［C］// Proceedings of the 2020 IEEE Global Engineering Education Conference. Piscataway： IEEE， 2020：374-381. 10.1109/educon45650.2020.9125245
19	JING X， TANG J. Guess you like： course recommendation in MOOCs［C］// Proceedings of the 2017 IEEE/WIC/ACM International Conferences on Web Intelligence. New York： ACM， 2017： 783-789. 10.1145/3106426.3106478
20	胡园园，姜文君，任德盛，等. 一种结合用户适合度和课程搭配度的在线课程推荐方法［J］. 计算机研究与发展， 2022， 59（11）：2520-2533. 10.7544/issn1000-1239.20210348
	HU Y Y， JIANG W J， REN D S， et al. Integrating user suitability and course matching degree for online course recommendation method［J］. Journal of Computer Research and Development， 2022， 59（11）：2520-2533. 10.7544/issn1000-1239.20210348
21	YING H C， ZHUANG F Z， ZHANG F Z， et al. Sequential recommender system based on hierarchical attention networks［C］// Proceedings of the 27th International Joint Conference on Artificial Intelligence. California： ijcai.org， 2018： 3926-3932. 10.24963/ijcai.2018/546
22	ZHANG S， TAY Y， YAO L N， et al. Next item recommendation with self-attentive metric learning［EB/OL］. （2018-08-25）［2022-05-26］..
23	LIU H L， XU Z M， ZHANG Q Q， et al. Integrating users’ long- and short-term preferences for session-based recommendation［C］// Proceedings of the IEEE 25th International Conference on Computer Supported Cooperative Work in Design. Piscataway： IEEE， 2022： 611-616. 10.1109/cscwd54268.2022.9776254
24	HE K M， ZHANG X Y， REN S Q， et al. Deep residual learning for image recognition［C］// Proceedings of the 2016 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2016：770-778. 10.1109/cvpr.2016.90
25	CHENG H T， KOC L， HARMSEN J， et al. Wide & Deep learning for recommender systems［C］// Proceedings of the 1st Workshop on Deep Learning for Recommender Systems. New York： ACM， 2016： 7-10. 10.1145/2988450.2988454
26	ZHANG M Q， WU S， GAO M， et al. Personalized graph neural networks with attention mechanism for session-aware recommendation［J］. IEEE Transactions on Knowledge and Data Engineering， 2022， 34（8）：3946-3957. 10.1109/tkde.2020.3031329
27	HE X N， HE Z K， SONG J K， et al. NAIS： neural attentive item similarity model for recommendation［J］. IEEE Transactions on Knowledge and Data Engineering， 2018， 30（12）： 2354-2366. 10.1109/tkde.2018.2831682
28	RENDLE S， FREUDENTHALER C， GANTNER Z， et al. BPR： Bayesian personalized ranking from implicit feed-back［C］// Proceedings of the 25th Conference on Uncertainty in Artificial Intelligence. Arlington， VA： AUAI Press， 2009：452-461.
29	YU J F， LUO G， XIAO T， et al. MOOCCube： a large-scale data repository for NLP applications in MOOCs［C］// Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA：ACL， 2020： 3135-3142. 10.18653/v1/2020.acl-main.285

[1]	王静红, 周志霞, 王辉, 李昊康. 双路自编码器的属性网络表示学习[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2338-2344.
[2]	梁敏, 刘佳艺, 李杰. 融合迭代反馈与注意力机制的图像超分辨重建方法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2280-2287.
[3]	叶坤佩, 熊熙, 丁哲. 基于领域融合和时间权重的招工推荐模型[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2133-2139.
[4]	拓雨欣, 薛涛. 融合指针网络与关系嵌入的三元组联合抽取模型[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2116-2124.
[5]	秦源源, 张鸿. 基于注意力特征金字塔网络的肺结节检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2311-2318.
[6]	魏远, 林彦, 郭晟楠, 林友芳, 万怀宇. 融合出发地与目的地时空相关性的城市区域间出租车需求预测[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2100-2106.
[7]	李忠雨, 孙浩东, 李娇. 轻量化篮球裁判手势识别算法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2173-2181.
[8]	郑帅, 张晓龙, 邓鹤, 任宏伟. 基于多尺度特征融合和网格注意力机制的三维肝脏影像分割方法[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2303-2310.
[9]	张慧斌, 冯丽萍, 郝耀军, 王一宁. 基于注意力机制和迁移学习的古壁画朝代识别[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1826-1832.
[10]	张奕, 王真梅. 图自动编码器上二阶段融合实现的环状RNA-疾病关联预测[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1979-1986.
[11]	方可, 刘蓉, 魏驰宇, 张心月, 刘杨. 复杂场景下的行人跌倒检测算法[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1811-1817.
[12]	鲁斌, 柳杰林. 基于特征增强的三维点云语义分割[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1818-1825.
[13]	郑智雄, 刘建华, 孙水华, 徐戈, 林鸿辉. 融合多窗口局部信息的方面级情感分析模型[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1796-1802.
[14]	董永峰, 王雅琮, 董瑶, 邓亚晗. 在线学习资源推荐综述[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1655-1663.
[15]	王辉, 李建红. 基于Transformer的三维模型小样本识别方法[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1750-1758.

面向个性化课程推荐的分层分期注意力网络模型

Hierarchical and phased attention network model for personalized course recommendation

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 5

参考文献 29

相关文章 15

编辑推荐

Metrics