基于亲和力与研究方向覆盖率的审稿人推荐算法

doi:10.11772/j.issn.1001-9081.2021122127

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (2): 430-436.DOI: 10.11772/j.issn.1001-9081.2021122127

• 数据科学与技术 • 上一篇

基于亲和力与研究方向覆盖率的审稿人推荐算法

钟磊¹, 周允升¹, 余敦辉¹^,², 崔海波¹^,²()

^1.湖北大学计算机与信息工程学院，武汉 430062
^2.湖北省教育信息化工程技术研究中心（湖北大学），武汉 430062

收稿日期:2021-12-27 修回日期:2022-03-18 接受日期:2022-06-20 发布日期:2022-08-03 出版日期:2023-02-10
通讯作者: 崔海波
作者简介:钟磊（2001—），男，湖北孝感人，主要研究方向：自然语言处理、知识图谱
周允升（2002—），男，湖北恩施人，主要研究方向：知识图谱
余敦辉（1974—），男，湖北武汉人，教授，博士，CCF会员，主要研究方向：知识图谱、群体智能；
基金资助:
国家自然科学基金资助项目(61977021);湖北省技术创新专项（重大项目）(2020AEA008)

Reviewer recommendation algorithm based on affinity and research direction coverage

Lei ZHONG¹, Yunsheng ZHOU¹, Dunhui YU¹^,², Haibo CUI¹^,²()

^1.School of Computer Science and Information Engineering，Hubei University，Wuhan Hubei 430062，China
^2.Hubei Engineering Technology Research Center of Educational Informatization （Hubei University），Wuhan Hubei 430062，China

Received:2021-12-27 Revised:2022-03-18 Accepted:2022-06-20 Online:2022-08-03 Published:2023-02-10
Contact: Haibo CUI
About author:ZHONG Lei， born in 2001. His research interests include natural language processing， knowledge graph.
ZHOU Yunsheng， born in 2002. His research interests include knowledge graph.
YU Dunhui， born in 1974， Ph. D.， professor. His research interests include knowledge graph， swarm intelligence.
Supported by:
National Natural Science Foundation of China(61977021);Hubei Province Technological Innovation Special Project （Major Project）(2020AEA008)

摘要/Abstract

摘要：

针对现有审稿人推荐算法主要通过亲和力分数分配审稿人，而忽略了审稿人与论文研究方向匹配的问题，提出一种基于亲和力与研究方向覆盖率的审稿人推荐算法（ARDC）。首先，根据研究方向在待审论文和审稿人论文组中出现的频数，确定论文选择审稿人的次序；然后，综合审稿人和论文间的亲和力得分以及审稿人对论文的研究方向覆盖得分，来计算审稿人对待审论文的综合审阅得分，并依据轮询调度得到论文预分配审稿小组；最后，对预分配审稿小组进行利益冲突检查与消解以实现最终的审稿小组推荐。实验结果表明，与基于松弛迭代的分配算法（FairIR）和同行评审公平分配算法（PR4A）等基于分配的审稿人推荐算法相比，所提算法在牺牲少量亲和力的情况下，将研究方向覆盖得分平均提高了38%，从而确保推荐结果更加准确合理。

关键词: 审稿人推荐, 亲和力分数, 主题模型, 利益冲突, 轮询调度

Abstract:

To deal with the problem that the existing reviewer recommendation algorithms assign reviewers only through affinity score and ignore the research direction matching between reviewers and papers to be reviewed， a reviewer recommendation algorithm based on Affinity and Research Direction Coverage （ARDC） was proposed. Firstly， the order of the paper’s selection of reviewers was determined according to the frequencies of the research directions appearing in the papers and the reviewer’s paper groups. Secondly， the reviewer’s comprehensive review score to the paper to be reviewed was calculated based on the affinity score between the reviewers and the paper to be reviewed and the research direction coverage score of the reviewers to the paper to be reviewed， and the pre-assigned review team for the paper was obtained on the basis of round-robin scheduling. Finally， the final recommendation of the review team was realized based on the conflict of interest conflict inspection and resolution. Experimental results show that compared with assignment based reviewer recommendation algorithms such as Fair matching via Iterative Relaxation （FairIR） and Fair and Accurate reviewer assignment in Peer Review （PR4A）， the proposed algorithm has the average research direction coverage score increased by 38% on average at the expense of a small amount of affinity score， so that the recommendation result is more accurate and reasonable.

Key words: reviewer recommendation, affinity score, topic model, interest conflict, round-robin scheduling

中图分类号:

TP391.3

钟磊, 周允升, 余敦辉, 崔海波. 基于亲和力与研究方向覆盖率的审稿人推荐算法[J]. 计算机应用, 2023, 43(2): 430-436.

Lei ZHONG, Yunsheng ZHOU, Dunhui YU, Haibo CUI. Reviewer recommendation algorithm based on affinity and research direction coverage[J]. Journal of Computer Applications, 2023, 43(2): 430-436.

图/表 13

图1 算法整体框架

Fig. 1 Algorithm framework

图2 LDA模型的拓扑结构

Fig. 2 Topological structure of LDA model

表1 数据集信息

Tab. 1 Dataset information

名称	审稿人数	待审论文数	研究方向数
S2ORC	2 483	2 446	368
SIGIR	189	73	25

表2 实验数据参数

Tab. 2 Experimental data parameters

参数	取值范围
主题数 $k$	10，20，30，40，50，60，70，80，90，100，110
审稿小组影响因子 $σ$	0.0，0.1，0.2，0.3，0.4，0.5，0.6，0.7，0.8，0.9
融合权重因子 $ω$	0.0，0.1，0.2，0.3，0.4，0.5，0.6，0.7，0.8，0.9，1.0
冷门研究方向因子 $ε$	0.01，0.02，0.03，0.04，0.05，0.06，0.07，0.08，0.09，0.10

表2 实验数据参数

Tab. 2 Experimental data parameters

参数	取值范围
主题数 $k$	10，20，30，40，50，60，70，80，90，100，110
审稿小组影响因子 $σ$	0.0，0.1，0.2，0.3，0.4，0.5，0.6，0.7，0.8，0.9
融合权重因子 $ω$	0.0，0.1，0.2，0.3，0.4，0.5，0.6，0.7，0.8，0.9，1.0
冷门研究方向因子 $ε$	0.01，0.02，0.03，0.04，0.05，0.06，0.07，0.08，0.09，0.10

图3 S2ORC数据集上评价指标随k变化

Fig. 3 Evaluation metrics changing with k on S2ORC dataset

图4 SIGIR数据集上评价指标随k变化

Fig. 4 Evaluation metrics changing with k on SIGIR dataset

图5 S2ORC数据集上评价指标随σ变化

Fig. 5 Evaluation metrics changing with σ on S2ORC dataset

图6 SIGIR数据集上评价指标随σ变化

Fig. 6 Evaluation metrics changing with σ on SIGIR dataset

图7 S2ORC数据集上评价指标随ω变化

Fig. 7 Evaluation metrics changing with ω on S2ORC dataset

图8 SIGIR数据集上评价指标随ω变化

Fig. 8 Evaluation metrics changing with ω on SIGIR dataset

图9 S2ORC数据集上评价指标随ε变化

Fig. 9 Evaluation metrics changing with ε on S2ORC dataset

图10 SIGIR数据集上评价指标随ε变化

Fig. 10 Evaluation metrics changing with ε on SIGIR dataset

表3 各算法的实验结果对比

Tab. 3 Comparison of experimental results of different algorithms

数据集	算法	Avg.Coverage	Avg.TPMS	COI
S2ORC	PLSARAM	0.885 165	0.664 379	401
	TPMS	0.480 448	0.949 123	1 552
	PR4A	0.479 243	0.948 118	1 533
	FairIR	0.480 369	0.949 123	1 553
	FairFlow	0.480 305	0.949 123	1 553
	GRRR	0.474 757	0.943 126	1 483
	ARDC	0.859 039	0.855 293	0
SIGIR	PLSARAM	0.774 139	0.646 868	2
	TPMS	0.076 245	0.945 196	7
	PR4A	0.076 245	0.945 196	7
	FairIR	0.076 245	0.945 196	7
	FairFlow	0.067 687	0.933 191	6
	GRRR	0.076 245	0.945 196	7
	ARDC	0.721 368	0.766 605	0

参考文献 19

1	TENNANT J P， ROSS-HELLAUER T. The limitations to our understanding of peer review［J］. Research Integrity and Peer Review， 2020， 5： No.6. 10.1186/s41073-020-00092-1
2	JECMEN S， ZHANG H R， LIU R， et al. Mitigating manipulation in peer review via randomized reviewer assignments［C］// Proceedings of the 34th International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2020： 12533-12545.
3	YEŞILÇIMEN A， YILDIRIM E A. An alternative polynomial-sized formulation and an optimization based heuristic for the reviewer assignment problem［J］. European Journal of Operational Research， 2019， 276（2）： 436-450. 10.1016/j.ejor.2019.01.035
4	HOANG D T， NGUYEN N T， COLLINS B， et al. Decision support system for solving reviewer assignment problem［J］. Cybernetics and Systems， 2021， 52（5）： 379-397. 10.1080/01969722.2020.1871227
5	TAN S C， DUAN Z， ZHAO S， et al. Improved reviewer assignment based on both word and semantic features［J］. Information Retrieval Journal， 2021， 24（3）： 175-204. 10.1007/s10791-021-09390-8
6	MIMNO D， McCALLUM A. Expertise modeling for matching papers with reviewers［C］// Proceedings of the 13th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2007： 500-509. 10.1145/1281192.1281247
7	KARIMZADEHGAN M， ZHAI C X， BELFORD G. Multi-aspect expertise matching for review assignment［C］// Proceedings of the 17th ACM Conference on Information and Knowledge Management. New York： ACM， 2008： 1113-1122. 10.1145/1458082.1458230
8	吉余岗，李依桐，石川. 融合异质网络与主题模型的方面分预测［J］. 计算机应用， 2017， 37（11）：3201-3206. 10.11772/j.issn.1001-9081.2017.11.3201
	JI Y G， LI Y T， SHI C. Aspect rating prediction based on heterogeneous network and topic model［J］. Journal of Computer Applications， 2017， 37（11）： 3201-3206. 10.11772/j.issn.1001-9081.2017.11.3201
9	NAGARAJAN G， MINU R I， JAYANTHILA DEVI A. Optimal nonparametric Bayesian model-based multimodal BoVW creation using multilayer pLSA［J］. Circuits， Systems， and Signal Processing， 2020， 39（2）： 1123-1132. 10.1007/s00034-019-01307-7
10	CHARLIN L， ZEMEL R S. The Toronto paper matching system： an automated paper-reviewer assignment system［C/OL］// Proceedings of the International Conference on Machine Learning 2013 Workshop on Peer Reviewing and Publishing Models. ［2021-10-23］..
11	O’DELL R， WATTENHOFER M， WATTENHOFER R. The paper assignment problem［R/OL］. ［2021-10-23］..
12	KOBREN A， SAHA B， McCALLUM A. Paper matching with local fairness constraints［C］// Proceedings of the 25th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2019： 1247-1257. 10.1145/3292500.3330899
13	STELMAKH I， SHAH N B， SINGH A. PeerReview4All： fair and accurate reviewer assignment in peer review［C］// Proceedings of the 30th International Conference on Algorithmic Learning Theory. New York： JMLR.org， 2019： 828-856.
14	PAYAN J， ZICK Y. I will have order！ optimizing orders for fair reviewer assignment［C］// Proceedings of the 31st International Joint Conference on Artificial Intelligence. California： ijcai.org， 2022： 440-446. 10.24963/ijcai.2022/63
15	KOU N M， U L H， MAMOULIS N， et al. Weighted coverage based reviewer assignment［C］// Proceedings of the 2015 ACM SIGMOD International Conference on Management of Data. New York： ACM， 2015： 2031-2046. 10.1145/2723372.2723727
16	WU R H， GUO C， WU F， et al. Making paper reviewing robust to bid manipulation attacks［C］// Proceedings of the 38th International Conference on Machine Learning. New York： JMLR.org， 2021： 11245-11250.
17	陈琪，张莉，蒋竞，等. 一种基于支持向量机和主题模型的评论分析方法［J］. 软件学报， 2019， 30（5）：1547-1560.
	CHEN Q， ZHANG L， JIANG J， et al. Review analysis method based on support vector machine and latent dirichlet allocation［J］. Journal of Software， 2019， 30（5）： 1547-1560.
18	田保军，刘爽，房建东. 融合主题信息和卷积神经网络的混合推荐算法［J］. 计算机应用， 2020， 40（7）：1901-1907. 10.11772/j.issn.1001-9081.2019122067
	TIAN B J， LIU S， FANG J D. Hybrid recommendation algorithm by fusion of topic information and convolution neural network［J］. Journal of Computer Applications， 2020， 40（7）： 1901-1907. 10.11772/j.issn.1001-9081.2019122067
19	LONG C， WONG R C W， PENG Y， et al. On good and fair paper-reviewer assignment［C］// Proceedings of the IEEE 13th International Conference on Data Mining. Piscataway： IEEE， 2013： 1145-1150. 10.1109/icdm.2013.13

[1]	徐雪敏, 张秀国, 肖媛元, 曹志英. 基于优化的灰狼算法的大规模Web服务组合[J]. 《计算机应用》唯一官方网站, 2022, 42(10): 3162-3169.
[2]	杨丰瑞, 霍娜, 张许红, 韦巍. 基于注意力机制的主题扩展情感对话生成[J]. 计算机应用, 2021, 41(4): 1078-1083.
[3]	杨威亚, 余正涛, 高盛祥, 宋燃. 基于跨语言神经主题模型的汉越新闻话题发现方法[J]. 计算机应用, 2021, 41(10): 2879-2884.
[4]	朱思淼, 魏世伟, 魏思恒, 余敦辉. 基于弹幕情感分析和主题模型的视频推荐算法[J]. 计算机应用, 2021, 41(10): 2813-2819.
[5]	尹春勇, 章荪. 面向短文本情感分类的端到端对抗变分贝叶斯方法[J]. 计算机应用, 2020, 40(9): 2536-2542.
[6]	田保军, 刘爽, 房建东. 融合主题信息和卷积神经网络的混合推荐算法[J]. 计算机应用, 2020, 40(7): 1901-1907.
[7]	杨飞, 罗建桥, 李柏林. 结合全局和局部约束的sLDA铁路扣件分类模型[J]. 计算机应用, 2019, 39(3): 888-893.
[8]	徐红艳, 王丹, 王富海, 王嵘冰. 融合潜在狄利克雷分布与元路径分析的用户相关性度量方法[J]. 计算机应用, 2019, 39(11): 3288-3292.
[9]	余慧, 冯旭鹏, 刘利军, 黄青松. 聊天机器人中用户就医意图识别方法[J]. 计算机应用, 2018, 38(8): 2170-2174.
[10]	许银洁, 孙春华, 刘业政. 考虑用户特征的主题情感联合模型[J]. 计算机应用, 2018, 38(5): 1261-1266.
[11]	李琰, 刘嘉勇. 基于作者主题模型和辐射模型的用户位置预测模型[J]. 计算机应用, 2018, 38(4): 939-944.
[12]	刘明聪, 王娜. 支持中国墙策略的云组合服务信息流控制模型[J]. 计算机应用, 2018, 38(2): 310-315.
[13]	徐立洋, 黄瑞章, 陈艳平, 钱志森, 黎万英. 基于狄利克雷多项分配模型的多源文本主题挖掘模型[J]. 计算机应用, 2018, 38(11): 3094-3099.
[14]	邓扬, 张晨曦, 李江峰. 基于弹幕情感分析的视频片段推荐模型[J]. 计算机应用, 2017, 37(4): 1065-1070.
[15]	褚征, 于炯, 王佳玉, 王跃飞. 基于LDA主题模型的移动应用相似度构建方法[J]. 计算机应用, 2017, 37(4): 1075-1082.

基于亲和力与研究方向覆盖率的审稿人推荐算法

Reviewer recommendation algorithm based on affinity and research direction coverage

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 13

参考文献 19

相关文章 15

编辑推荐

Metrics