融合知识增强和对比学习的高中英语阅读理解模型

doi:10.11772/j.issn.1001-9081.2025070871

《计算机应用》唯一官方网站 ›› 2026, Vol. 46 ›› Issue (7): 2096-2103.DOI: 10.11772/j.issn.1001-9081.2025070871

融合知识增强和对比学习的高中英语阅读理解模型

王昱麒, 张仰森(), 王璞

北京信息科技大学智能信息处理研究所，北京 100192

收稿日期:2025-08-12 修回日期:2025-09-09 接受日期:2025-09-19 发布日期:2025-11-05 出版日期:2026-07-10
通讯作者: 张仰森
作者简介:王昱麒（1999—），女，山西运城人，博士研究生，CCF学生会员，主要研究方向：机器阅读理解、问答系统
王璞（2001—），男，湖南衡阳人，硕士研究生，主要研究方向：跨模态学习、对话系统。
基金资助:
北京市自然科学基金资助项目(L233008)

High school English reading comprehension model integrating knowledge augmentation and contrastive learning

Yuqi WANG, Yangsen ZHANG(), Pu WANG

Institute of Intelligent Information Processing，Beijing Information Science and Technology University，Beijing 100192，China

Received:2025-08-12 Revised:2025-09-09 Accepted:2025-09-19 Online:2025-11-05 Published:2026-07-10
Contact: Yangsen ZHANG
About author:WANG Yuqi， born in 1999， Ph. D. candidate. Her research interests include machine reading comprehension， question and answer system.
WANG Pu， born in 2001， M. S. candidate. His research interests include cross-modal learning， dialogue system.
Supported by:
Natural Science Foundation of Beijing(L233008)

摘要/Abstract

摘要：

为了解决高中英语多项选择阅读理解（MCRC）教育考试模型应用中信息过载、缺乏内容匹配和解释性不足的问题，提出一种融合知识增强和对比学习的多项选择阅读理解模型（KCL-MCRC）。首先，使用大语言模型（LLM）生成文章摘要和提取线索句子，通过知识增强减少无关信息的输入；其次，利用BERT （Bidirectional Encoder Representations from Transformers）模型获取文章、问题和选项的嵌入表示；再次，采用平均池化和绝对差值的对比学习策略获取文章、问题和选项的信息差异向量，并与原嵌入表示拼接，以共同作用于答案选择；最后，使用LLM进行问题类型标注，通过评估KCL-MCRC在各种问题类型上的答题准确率分析模型性能提升的原因。在RACE-H数据集上的实验结果表明， KCL-MCRC在验证集和测试集上的整体准确率分别达到了65.75%和64.12%，相比模型MDT （Multi-Decision-Transformer）和MMA （Multi-stage Maximization Attention）分别提高了1.02、0.35和0.88、0.92个百分点，取得了最佳性能；知识增强和对比学习对模型性能的提升都具有重要意义，在逻辑推理、主旨概括和作者态度这3种问题类型上的准确率提升明显，验证了针对问题类型进行模块设计的有效性。

关键词: 多项选择阅读理解, 大语言模型, 预训练语言模型, 知识增强, 对比学习

Abstract:

To address the issues of information overload， lack of content matching， and insufficient interpretability of the educational exam's models of English Multi-Choice Reading Comprehension （MCRC） in high school， the MCRC model integrating Knowledge augmentation and Contrastive Learning （KCL-MCRC） was proposed. First， the Large Language Model （LLM） was employed to generate a summary and extract clue sentences from the article for knowledge augmentation to reduce the input of irrelevant information. Second， the embedded representations of the article， questions and options were obtained by using the Bidirectional Encoder Representations from Transformers （BERT） model. Third， the information difference vectors of the article， questions and options were obtained through the contrastive learning strategy combining average pooling and absolute difference， and were subsequently concatenated with the original embeddings to jointly influence the answer selection. Finally， each question type was labeled by the LLM， and the performance of the KCL-MCRC model was evaluated to analyze the reasons for the model’s performance gains through accuracy in answering various types of questions. Experimental results on the RACE-H dataset show that KCL-MCRC achieves the optimal overall accuracies of 65.75% on validation set and 64.12% on test set， surpassing the models MDT （Multi-Decision-Transformer） and MMA （Multi-stage Maximization Attention） by 1.02， 0.35 and 0.88， 0.92 percentage points， respectively， achieving the best performance； both knowledge enhancement and contrastive learning are crucial for model's performance improvement， with significant the accuracy gains in three question types： logical reasoning， main idea summarization， and author's attitude. This validates effectiveness of designing modules for different question types.

Key words: Multi-Choice Reading Comprehension (MCRC), Large Language Model (LLM), Pre-trained Language Model (PLM), knowledge augmentation, contrastive learning

中图分类号:

TP391.1

王昱麒, 张仰森, 王璞. 融合知识增强和对比学习的高中英语阅读理解模型[J]. 计算机应用, 2026, 46(7): 2096-2103.

Yuqi WANG, Yangsen ZHANG, Pu WANG. High school English reading comprehension model integrating knowledge augmentation and contrastive learning[J]. Journal of Computer Applications, 2026, 46(7): 2096-2103.

图/表 11

参考文献 38

[1]	Guan B， Zhu X， Yuan S. A T5-based interpretable reading comprehension model with more accurate evidence training ［J］. Information Processing and Management， 2024， 61（2）： No.103584.
[2]	张学飞，张丽萍，闫盛，等.知识图谱与大语言模型协同的个性化学习推荐［J］.计算机应用， 2025， 45（3）： 773-784.
	Zhang Xuefei， Zhang Liping， Yan Sheng， et al. Personalized learning recommendation in collaboration with knowledge graph and large language model ［J］. Journal of Computer Applications， 2025， 45（3）： 773-784.
[3]	张春云，赵洪焱，邓纪芹，等.基于类别对抗联合学习的跨提示自动作文评分方法［J］.计算机研究与发展， 2025， 62（5）： 1190-1204.
	Zhang Chunyun， Zhang Hongyan， Deng Jiqin， et al. Category adversarial joint learning method for cross-prompt automated essay scoring ［J］. Journal of Computer Research and Development， 2025， 62（5）： 1190-1204.
[4]	Pota M， Ventura M， Fujita H， et al. Multilingual evaluation of pre-processing for BERT-based sentiment analysis of tweets ［J］. Expert Systems with Applications， 2021， 181（1）： No.115119.
[5]	Li J， Li H， Pan Z， et al. Prompting ChatGPT in MNER： enhanced multimodal named entity recognition with auxiliary refined knowledge ［C］// EMNLP 2023. Stroudsburg： ACL， 2023： 2787-2802.
[6]	Lester B， Al-Rfou R， Constant N. The power of scale for parameter-efficient prompt tuning ［C］// EMNLP 2021. Stroudsburg： ACL， 2021： 3045-3059.
[7]	Zhao Y， Zhao H， Duan S. Multi-grained evidence inference for multi-choice reading comprehension ［J］. IEEE/ACM Transactions on Audio， Speech， and Language Processing， 2023， 31： 3896-3907.
[8]	Jawahar G， Sagot B， Seddah D. What does BERT learn about the structure of language？［C］// ACL 2019. Stroudsburg： ACL， 2019： 3651-3657.
[9]	Hirschman L， Light M， Breck E， et al. Deep Read： a reading comprehension system ［C］// ACL 1999. Stroudsburg： ACL， 1999： 325-332.
[10]	Poon H， Christensen J， Domingos P， et al. Machine reading at the University of Washington ［C］// NAACL HLT 2010. Stroudsburg： ACL， 2010： 87-95.
[11]	Richardson M， Burges C J C， Renshaw E. MCTest： a challenge dataset for the open-domain machine comprehension of text ［C］// EMNLP 2013. Stroudsburg： ACL， 2013： 193-203.
[12]	Rajpurkar P， Zhang J， Lopyrev K， et al. SQuAD： 100， 000+ questions for machine comprehension of text ［C］// EMNLP 2016. Stroudsburg： ACL， 2016： 2383-2392.
[13]	Hermann K M， Kočiský T， Grefenstette E， et al. Teaching machines to read and comprehend ［C］// NeurIPS 2015. Cambridge： MIT Press， 2015： 1693-1701.
[14]	Kadlec R， Schmid M， Bajgar O， et al. Text understanding with the attention sum reader network ［C］// ACL 2016. Stroudsburg： ACL， 2016： 908-918.
[15]	Vaswani A， Shazeer N， Parmar N， et al. Attention is all you need ［C］// NeurIPS 2017. Red Hook： Curran Associates Inc.， 2017： 6000-6010.
[16]	Devlin J， Chang M W， Lee K， et al. BERT： pre-training of deep bidirectional transformers for language understanding ［C］// NAACL-HLT 2019. Stroudsburg： ACL， 2019： 4171-4186.
[17]	Raffel C， Shazeer N， Roberts A， et al. Exploring the limits of transfer learning with a unified text-to-text Transformer ［J］. Journal of Machine Learning Research， 2020， 21： 1-67.
[18]	Ni J， Zhu C， Chen W， et al. Learning to attend on essential terms： an enhanced retriever-reader model for open-domain question answering ［C］// NAACL-HLT 2019. Stroudsburg： ACL， 2019： 335-344.
[19]	Khashabi D， Chaturvedi S， Roth M， et al. Looking beyond the surface： a challenge set for reading comprehension over multiple sentences ［C］// NAACL-HLT 2018. Stroudsburg： ACL， 2018： 252-262.
[20]	Lai G， Xie Q， Liu H， et al. RACE： large-scale ReAding Comprehension Dataset from examinations ［C］// EMNLP 2017. Stroudsburg： ACL， 2017： 785-794.
[21]	Khashabi D， Khot T， Sabharwal A， et al. Question answering via integer programming over semi-structured knowledge ［C］// IJCAI 2016. Palo Alto： AAAI Press， 2016： 1145-1152.
[22]	Sun K， Yu D， Yu D， et al. Investigating prior knowledge for challenging Chinese machine reading comprehension ［J］. Transactions of the Association for Computational Linguistics， 2020， 8： 141-155.
[23]	Bai Z， Liu J， Wang M， et al. Exploiting diverse information in pre-trained language model for multi-choice machine reading comprehension ［J］. Applied Sciences， 2022， 12（6）： No.3072.
[24]	Huang Z， Wu A， Zhou J， et al. Clues before answers： generation-enhanced multiple-choice QA ［C］// NAACL-HLT 2022. Stroudsburg： ACL， 2022： 3272-3287.
[25]	周昆，朱余韬，陈志朋，等. YuLan-Chat：基于多阶段课程学习的大语言模型［J］.计算机学报， 2025， 48（1）： 1-18.
	Zhou Kun， Zhu Yutao， Chen Zhipeng， et al. YuLan-Chat： a large language model based on multi-stage curriculum learning ［J］. Chinese Journal of Computers， 2025， 48（1）： 1-18.
[26]	Lin Z， Guan S， Zhang W， et al. Towards trustworthy LLMs： a review on debiasing and dehallucinating in large language models ［J］. Artificial Intelligence Review， 2024， 57： No.243.
[27]	He X， Lin Z， Gong Y， et al. AnnoLLM： making large language models to be better crowdsourced annotators ［C］// NAACL-HLT 2024. Stroudsburg： ACL， 2024： 165-190.
[28]	Ouyang L， Wu J， Jiang X， et al. Training language models to follow instructions with human feedback ［C］// NeurIPS 2022. Red Hook： Curran Associates Inc.， 2022： 27730-27744.
[29]	Cui C， Jiang Y， Wu S， et al. Transfer learning enhanced single-choice decision for multi-choice question answering ［PP/OL］. arXiv （2024-04-27）［2024-11-12］. .
[30]	Zhang Q， Chen S， Fang M， et al. Joint reasoning with knowledge subgraphs for Multiple Choice Question Answering ［J］. Information Processing and Management， 2023， 60（3）： No.103297.
[31]	Niu Y， Jiao F， Zhou M， et al. A self-training method for machine reading comprehension with soft evidence extraction ［C］// ACL 2020. Stroudsburg： ACL， 2020： 3916-3927.
[32]	Wu D， Li J， Wang B， et al. SparkRA： a retrieval-augmented knowledge service system based on Spark large language model ［C］// EMNLP 2024. Stroudsburg： ACL， 2024： 382-389.
[33]	Chen J， Xiao S， Zhang P， et al. M3-Embedding： multi-linguality， multi-functionality， multi-granularity text embeddings through self-knowledge distillation ［C］// ACL 2024. Stroudsburg： ACL， 2024： 2318-2335.
[34]	Zhang S， Zhao H， Wu Y， et al. DCMN+： dual co-matching network for multi-choice reading comprehension ［C］// AAAI 2020. Palo Alto： AAAI Press， 2020： 9563-9570.
[35]	张秀，纪科，马坤，等.基于多维度事件特征融合和语义特征交互的事件匹配算法［J］.数据分析与知识发现， 2025， 9（4）： 111-122.
	Zhang Xiu， Ji Ke， Ma Kun， et al. Event matching algorithm based on multi-dimensional event feature fusion and semantic feature interaction ［J］. Data Analysis and Knowledge Discovery， 2025， 9（4）： 111-122.
[36]	Reimers N， Gurevych I. Sentence-BERT： sentence embeddings using Siamese BERT-networks ［C］// EMNLP 2019. Stroudsburg： ACL， 2019： 3982-3992.
[37]	Yan H， Liu L， Feng X， et al. Leveraging greater relations for improving multi-choice reading comprehension ［J］. Neural Computing and Applications， 2022， 34（23）： 20851-20864.
[38]	Team GLM. ChatGLM： a family of Large language models from GLM-130B to GLM-4 all tools ［PP/OL］. V2. arXiv （2024-07-30）［2025-02-27］. .

数据划分	样本数
数据划分	A	B	C	D	合计
合计	15 211	17 863	18 752	17 568	69 394
训练集	13 701	16 021	16 885	15 838	62 445
验证集	756	907	917	871	3 451
测试集	754	935	950	859	3 498

数据划分	样本数
数据划分	A	B	C	D	合计
合计	15 211	17 863	18 752	17 568	69 394
训练集	13 701	16 021	16 885	15 838	62 445
验证集	756	907	917	871	3 451
测试集	754	935	950	859	3 498

参数	值	参数	值
batch_size	8	epochs	20
lr	3×10^-5	weight_decay	0.01
warmup_proportion	0.1	optimizer	AdamW
max_length	512

参数	值	参数	值
batch_size	8	epochs	20
lr	3×10^-5	weight_decay	0.01
warmup_proportion	0.1	optimizer	AdamW
max_length	512

模型	准确率/%
模型	验证集	测试集
BERT+MLP	61.60	59.50
STM	64.70	62.60
MMA	65.40	63.20
DCMN	64.00	62.30
GenMC	52.33	50.91
MDT	64.73	63.24
ChatGLM（Raw）	—	68.13
ChatGLM（K）	—	72.07
本文模型	65.75	64.12

融合知识增强和对比学习的高中英语阅读理解模型

High school English reading comprehension model integrating knowledge augmentation and contrastive learning

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 11

参考文献 38

相关文章 15

编辑推荐

Metrics

问题类型	定义
细节理解	理解具体信息的能力，要求回忆和识别文章中明确陈述的信息，包括事实、数据、定义、日期、事件和数字等
逻辑推理	根据信息推断结论，包括识别论点、理解论点结构、识别假设和前提并根据这些信息进行合理推断
主旨概括	理解文本的整体结构，识别关键段落，将复杂的信息简化为一个或几个核心思想，来识别和总结文本的主要观点或主题
作者态度	识别作者对某个主题或论点的情感倾向或观点。包括理解作者的语气、意图、偏见或看法
世界知识	对世界的事实性知识，包括计算、历史、地理、文化、科学和其他领域的信息

数据划分	细节理解	逻辑推理	主旨概括	作者态度	世界知识
合计	24 149	25 123	16 778	2 901	443
训练集	21 691	22 618	15 118	2 614	404
验证集	1 223	1 227	827	159	15
测试集	1 235	1 278	833	128	24

[1]	李佳航, 韩启龙, 李丽洁, 张慧. 基于大语言模型的超关系知识图谱限定符增强方法[J]. 《计算机应用》唯一官方网站, 2026, 46(7): 2043-2053.
[2]	樊海玮, 丁文帅, 邢宏政. 基于多异构拓扑图协同与层次对比学习的知识感知推荐性能增强方法[J]. 《计算机应用》唯一官方网站, 2026, 46(7): 2085-2095.
[3]	侯迪迪, 洪少东, 付玉杰, 崔允贺, 申国伟. 基于大语言模型链接的网络安全实体识别方法[J]. 《计算机应用》唯一官方网站, 2026, 46(7): 2064-2073.
[4]	程雅典, 李颖颖, 张平, 邱芳冰, 柴晓楠, 舒玉巧. 基于双角色交互机制的心理健康大语言模型[J]. 《计算机应用》唯一官方网站, 2026, 46(7): 2054-2063.
[5]	朱林凯, 杨璐, 张弘杰, 吴子衿, 刘璐. LLM与SWRL驱动的跨境数据合规异构跨链智能合约生成框架[J]. 《计算机应用》唯一官方网站, 2026, 46(7): 2074-2084.
[6]	喻小芹, 单武扬, 邱骏颖, 林宇, 杨容浩, 田茂. 亮度对比度扰动下的图像篡改定位检测网络[J]. 《计算机应用》唯一官方网站, 2026, 46(6): 1893-1903.
[7]	易宇声, 黄兆豪, 邓梓昊, 孔蕾蕾, 齐浩亮. 面向信创数据库迁移的多知识库协同大语言模型提示框架CORER[J]. 《计算机应用》唯一官方网站, 2026, 46(6): 1811-1817.
[8]	李冰清, 黄彬浩, 唐语蓓, 张柏礼. 面向数据稀疏性与冷启动问题的服务质量预测模型[J]. 《计算机应用》唯一官方网站, 2026, 46(6): 1829-1835.
[9]	蔡泰鑫, 魏凤凤. 面向多解旅行商问题的大语言模型增强蚁群优化算法[J]. 《计算机应用》唯一官方网站, 2026, 46(6): 1712-1720.
[10]	戚航, 董婷婷, 乃永强, 莫先. 基于图扩散生成与自适应采样的对比协同过滤方法[J]. 《计算机应用》唯一官方网站, 2026, 46(6): 1818-1828.
[11]	熊龙雨, 杜圣东, 史浩琛, 胡节, 杨燕, 李天瑞. 基于知识增强大语言模型架构的政务热线问答系统[J]. 《计算机应用》唯一官方网站, 2026, 46(6): 1721-1727.
[12]	王劲滔, 高志霖, 孟琪翔, 卜凡亮. 基于大语言模型重构案件信息的类案检索方法[J]. 《计算机应用》唯一官方网站, 2026, 46(6): 1785-1792.
[13]	王静红, 陈潇, 马迎梅, 李笔, 米据生, 王威. 基于自适应学习的多层次邻域对比属性图聚类[J]. 《计算机应用》唯一官方网站, 2026, 46(6): 1836-1843.
[14]	富坤, 魏昊宇, 刘伟静, 党兴, 刘泽政, 李建伟. 拓扑语义双域协同的图神经网络框架[J]. 《计算机应用》唯一官方网站, 2026, 46(5): 1378-1387.
[15]	盛兴, 翁孙贤, 陈扩松, 王忠平, 任芮锋, 刘勇. 基于深度学习的电网企业专利价值评估[J]. 《计算机应用》唯一官方网站, 2026, 46(5): 1468-1474.

模型	准确率/%
模型	验证集	测试集
BERT	62.13	61.34
BERT+对比融合	62.94	61.75
BERT+知识增强	64.73	63.69
本文模型	65.75	64.12

模型	准确率/%
模型	验证集	测试集
BERT	62.13	61.34
BERT+对比融合	62.94	61.75
BERT+知识增强	64.73	63.69
本文模型	65.75	64.12

模型	准确率/%
模型	细节理解	逻辑推理	主旨概括	作者态度	世界知识
本文模型	63.48	63.38	65.43	69.53	62.50
-知识增强	62.02	60.88	61.70	67.19	66.67
-对比学习	62.51	62.68	65.91	71.09	62.50

模型	准确率/%
模型	细节理解	逻辑推理	主旨概括	作者态度	世界知识
本文模型	63.48	63.38	65.43	69.53	62.50
-知识增强	62.02	60.88	61.70	67.19	66.67
-对比学习	62.51	62.68	65.91	71.09	62.50