面向军事领域知识问答系统的多策略检索增强生成方法

doi:10.11772/j.issn.1001-9081.2024060833

《计算机应用》唯一官方网站 ›› 2025, Vol. 45 ›› Issue (3): 746-754.DOI: 10.11772/j.issn.1001-9081.2024060833

• 大模型前沿研究与典型应用 • 上一篇下一篇

面向军事领域知识问答系统的多策略检索增强生成方法

张艳萍¹, 陈梅芳²^,³, 田昌海³(), 易子博³, 胡文鹏³, 罗威³, 罗准辰³

^1.河北工程大学数理科学与工程学院，河北邯郸 056038
^2.河北工程大学信息与电气工程学院，河北邯郸 056038
^3.中国人民解放军军事科学院军事科学信息研究中心，北京 100142

收稿日期:2024-06-24 修回日期:2024-08-16 接受日期:2024-08-20 发布日期:2024-09-02 出版日期:2025-03-10
通讯作者: 田昌海
作者简介:张艳萍（1980—），女，河北邯郸人，教授，博士，主要研究方向：生物信息学、生物医学统计
陈梅芳（1999—），女，福建莆田人，硕士研究生，主要研究方向：信息检索
易子博（1991—），男，湖北荆州人，助理研究员，博士，主要研究方向：信息检索、科技信息智能挖掘与服务
胡文鹏（1992—），男，山东日照人，助理研究员，博士，主要研究方向：机器学习、自然语言处理
罗威（1979—），男，安徽桐城人，正高级工程师，硕士，主要研究方向：科技信息智能挖掘与服务
罗准辰（1984—），男，湖南长沙人，高级工程师，博士，主要研究方向：科技信息智能挖掘与服务、自然语言处理。

Multi-strategy retrieval-augmented generation method for military domain knowledge question answering systems

Yanping ZHANG¹, Meifang CHEN²^,³, Changhai TIAN³(), Zibo YI³, Wenpeng HU³, Wei LUO³, Zhunchen LUO³

^1.School of Mathematics and Physics，Hebei University of Engineering，Handan Hebei 056038，China
^2.School of Information and Electrical Engineering，Hebei University of Engineering，Handan Hebei 056038，China
^3.Information Research Center of Military Science，PLA Academy of Military Science，Beijing 100142，China

Received:2024-06-24 Revised:2024-08-16 Accepted:2024-08-20 Online:2024-09-02 Published:2025-03-10
Contact: Changhai TIAN
About author:ZHANG Yanping， born in 1980， Ph. D.， professor. Her research interests include bioinformatics， biomedical statistics.
CHEN Meifang， born in 1999， M. S. candidate. Her research interests include information retrieval.
YI Zibo， born in 1991， Ph. D.， assistant research fellow. His research interests include information retrieval， intelligent mining and service of scientific and technological information.
HU Wenpeng， born in 1992， Ph. D.， assistant research fellow. His research interests include machine learning， natural language processing.
LUO Wei， born in 1979， M. S.， professor of engineering. His research interests include intelligent mining and service of scientific and technological information.
LUO Zhunchen， born in 1984， Ph. D.， senior engineer. His research interests include intelligent mining and service of scientific and technological information， natural language processing.
Supported by:
Youth Program of National Natural Science Foundation of China(62206308)

摘要/Abstract

摘要：

基于检索增强生成（RAG）的军事领域知识问答系统已经逐渐成为现代情报人员收集和分析情报的重要工具。针对目前RAG方法的应用策略中的混合检索存在可移植性不强以及非必要使用查询改写容易诱发语义漂移的问题，提出一种多策略检索增强生成（MSRAG）方法。首先，根据用户输入的查询特点自适应地匹配检索模型来召回相关文本；其次，利用文本过滤器提取出能够回答问题的关键文本片段；再次，使用文本过滤器进行内容有效性判断以启动基于同义词拓展的查询改写，并将初始查询与改写后的信息合并输入检索控制器以进行更有针对性的再次检索；最后，合并能够回答问题的关键文本片段和问题，并使用提示工程输入生成答案模型来生成响应返回给用户。实验结果表明，MSRAG方法在军事领域数据集（Military）和Medical数据集的ROUGE-L（Recall-Oriented Understudy for Gisting Evaluation Longest common subsequence）指标上相较于凸线性组合RAG方法分别提高了14.35和5.83个百分点。可见，MSRAG方法具备较强的通用性和可移植性，能够缓解非必要查询改写导致的语义漂移现象，有效帮助大模型生成更准确的答案。

关键词: 检索增强生成, 军事知识问答, 信息检索, 文本过滤, 查询改写

Abstract:

The military domain knowledge question answering system based on Retrieval-Augmented Generation （RAG） has become an important tool for modern intelligence personnel to collect and analyze intelligence gradually. Focusing on the issue that the application strategies of RAG methods currently suffer from poor portability in hybrid retrieval as well as the problem of semantic drift caused by unnecessary query rewriting easily， a Multi-Strategy Retrieval-Augmented Generation （MSRAG） method was proposed. Firstly， the retrieval model was matched adaptively to recall relevant text based on query characteristics of the user input. Secondly， a text filter was utilized to extract the key text fragments that can answer the question. Thirdly， the content validity was assessed by the text filter to trigger query rewriting based on synonym expansion， and the initial query was merged with the rewritten information and used as input of the retrieval controller for more targeted re-retrieval. Finally， the key text fragments that can answer the question were merged with the question， prompt engineering input was used to generate answer model， and the response generated by the model was returned to the user. Experimental results show that compared to the convex linear combination RAG method， MSRAG method improves the ROUGE-L （Recall-Oriented Understudy for Gisting Evaluation Longest common subsequence） by 14.35 percentage points on the Military domain dataset （Military） and by 5.83 percentage points on the Medical dataset. It can be seen that MSRAG method has strong universality and portability， enables the reduction of the semantic drift caused by unnecessary query rewriting， and effectively helps large language models generate more accurate answers.

Key words: Retrieval-Augmented Generation (RAG), military knowledge question answering, information retrieval, text filtering, query rewriting

中图分类号:

TP391.1

张艳萍, 陈梅芳, 田昌海, 易子博, 胡文鹏, 罗威, 罗准辰. 面向军事领域知识问答系统的多策略检索增强生成方法[J]. 计算机应用, 2025, 45(3): 746-754.

Yanping ZHANG, Meifang CHEN, Changhai TIAN, Zibo YI, Wenpeng HU, Wei LUO, Zhunchen LUO. Multi-strategy retrieval-augmented generation method for military domain knowledge question answering systems[J]. Journal of Computer Applications, 2025, 45(3): 746-754.

图/表 7

参考文献 21

1	徐月梅，胡玲，赵佳艺，等. 大语言模型的技术应用前景与风险挑战［J］. 计算机应用， 2024， 44（6）：1655-1662.
	XU Y M， HU L， ZHAO J Y， et al. Technology application prospects and risk challenges of large language models ［J］. Journal of Computer Applications， 2024， 44（6）：1655-1662.
2	LEWIS P， PEREZ E， PIKTUS A， et al. Retrieval-augmented generation for knowledge-intensive NLP tasks ［C］// Proceedings of the 34th International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2020： 9459-9474.
3	WANG W， WANG Y， JOTY S， et al. RAP-Gen： retrieval-augmented patch generation with CodeT5 for automatic program repair［C］// Proceedings of the 31st ACM Joint European Software Engineering Conference and Symposium on the Foundations of Software Engineering. New York： ACM， 2023： 146-158.
4	MA X， GONG Y， HE P， et al. Query rewriting for retrieval-augmented large language models ［C］// Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing. Stroudsburg： ACL， 2023： 5303-5315.
5	OpenAI. GPT-4 technical report［R/OL］. ［2024-06-01］. .
6	Team Qwen， Group Alibaba. Qwen technical report ［R/OL］. ［2024-06-03］. .
7	ROBERTSON S E， WALKER S. On relevance weights with little relevance information ［C］// Proceedings of the 20th Annual International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 1997： 16-24.
8	ROBERTSON S， ZARAGOZA H. The probabilistic relevance framework： BM25 and beyond ［J］. Foundations and Trends in Information Retrieval， 2009， 3（4）： 333-389.
9	DEVLIN J， CHANG M W， LEE K， et al. BERT： pre-training of deep bidirectional Transformers for language understanding ［C］// Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies， Volume 1 （Long and Short Papers）. Stroudsburg： ACL， 2019： 4171-4186.
10	KARPUKHIN V， OGUZ B， MIN S， et al. Dense passage retrieval for open-domain question answering ［C］// Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing. Stroudsburg： ACL， 2020： 6769-6781.
11	WANG S， ZHUANG S， ZUCCON G. BERT-based dense retrievers require interpolation with BM25 for effective passage retrieval ［C］// Proceedings of the 2021 ACM SIGIR International Conference on Theory of Information Retrieval. New York： ACM， 2021： 317-324.
12	CORMACK G V， CLARKE C L A， BUETTCHER S. Reciprocal rank fusion outperforms Condorcet and individual rank learning methods ［C］// Proceedings of the 32nd International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2009： 758-759.
13	XU F， SHI W， CHOI E. RECOMP： improving retrieval-augmented LMs with compression and selective augmentation ［EB/OL］. ［2024-07-01］. .
14	LI Z， ZHANG X， ZHANG Y， et al. Towards general text embeddings with multi-stage contrastive learning ［EB/OL］. ［2024-06-06］. .
15	JOHNSON J， DOUZE M， JÉGOU H. Billion-scale similarity search with GPUs ［J］. IEEE Transactions on Big Data， 2021， 7（3）： 535-547.
16	XIAO S， LIU Z， ZHANG P， et al. C-Pack： packaged resources to advance general Chinese embedding ［C］// Proceedings of the 47th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2024： 641-649.
17	CONNEAU A， KHANDELWAL K， GOYAL N， et al. Unsupervised cross-lingual representation learning at scale ［C］// Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg： ACL， 2020： 8440-8451.
18	PENG W， LI G， JIANG Y， et al. Large language model based long-tail query rewriting in Taobao search ［C］// Companion Proceedings of the ACM Web Conference 2024. New York： ACM， 2024： 20-28.
19	SUN Y， WANG S， FENG S， et al. Ernie 3.0： large-scale knowledge enhanced pre-training for language understanding and generation［EB/OL］. ［2024-08-01］. .
20	LONG D， GAO Q， ZOU K， et al. Multi-CPR a multi domain Chinese dataset for passage retrieval ［C］// Proceedings of the 45th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2022： 3046-3056.
21	LIN C Y. ROUGE： a package for automatic evaluation of summaries ［C］// Proceedings of the ACL-04 Workshop： Text Summarization Branches Out. Stroudsburg： ACL， 2004： 74-81.

检索模型	Military		Medical
检索模型	MRR@10	Recall@100	MRR@10	Recall@100
BM25	24.29	59.62	22.65	42.10
BM25（Rewrite）	7.09	24.03	12.40	30.40
BM25（Expand）	29.71	68.05	24.87	44.80
DPR（General）	19.07	48.49	27.75	47.40
DPR（Domain）	33.24	65.66	32.32	54.80
DPR（Rewrite）	27.73	61.29	21.04	51.56
Convex-fusion	41.42	75.13	35.97	57.10
RRF	40.19	74.81	35.22	55.60
MSR	57.79	79.41	41.85	60.20

检索模型	Military		Medical
检索模型	MRR@10	Recall@100	MRR@10	Recall@100
BM25	24.29	59.62	22.65	42.10
BM25（Rewrite）	7.09	24.03	12.40	30.40
BM25（Expand）	29.71	68.05	24.87	44.80
DPR（General）	19.07	48.49	27.75	47.40
DPR（Domain）	33.24	65.66	32.32	54.80
DPR（Rewrite）	27.73	61.29	21.04	51.56
Convex-fusion	41.42	75.13	35.97	57.10
RRF	40.19	74.81	35.22	55.60
MSR	57.79	79.41	41.85	60.20

模型	Military		Medical
模型	ACC	ROUGE-L	ACC	ROUGE-L
Qwen	8.00	16.56	18.22	22.08
RAG-BM25	14.28	19.04	34.56	30.52
RAG-BM25（Rewrite）	9.00	16.62	18.51	22.86
RAG-BM25（Expand）	21.00	26.58	35.86	31.66
RAG-DPR（General）	14.00	20.23	35.88	32.25
RAG-DPR（Domain）	29.00	32.94	37.00	36.77
RAG-DPR（Rewrite）	19.00	24.35	35.71	33.33
RAG-Convex-fusion	30.00	37.04	38.75	38.56
RAG-RRF	30.10	36.28	37.50	37.14
MSRAG-BERT	46.31	49.48	46.91	40.51
MSRAG	48.42	51.39	47.50	44.39

模型	Military		Medical
模型	ACC	ROUGE-L	ACC	ROUGE-L
Qwen	8.00	16.56	18.22	22.08
RAG-BM25	14.28	19.04	34.56	30.52
RAG-BM25（Rewrite）	9.00	16.62	18.51	22.86
RAG-BM25（Expand）	21.00	26.58	35.86	31.66
RAG-DPR（General）	14.00	20.23	35.88	32.25
RAG-DPR（Domain）	29.00	32.94	37.00	36.77
RAG-DPR（Rewrite）	19.00	24.35	35.71	33.33
RAG-Convex-fusion	30.00	37.04	38.75	38.56
RAG-RRF	30.10	36.28	37.50	37.14
MSRAG-BERT	46.31	49.48	46.91	40.51
MSRAG	48.42	51.39	47.50	44.39

方法	相关上下文	回答
Qwen	—	“黑杰克”无人机系统是由美国空军研究实验室开发的一种多无人机平台。
RAG-Convex-fusion	【比利时海军公认网2022年5月25日报道】泰国皇家海军已接装美国RQ-21“黑杰克”小型无人机系统。该无人机系统由波音公司旗下英西图公司设计制造，可辅助海军执行前线侦察任务。每套系统包括5架无人机和2部地面控制站；无人机为双发单翼机，翼展为4.9米，有效载荷为18千克；可在陆地或海上使用轨道发射装置投放、“天钩”系统回收。	对不起，文本中没有提供“黑杰克”无人机系统的具体飞行速度和续航能力信息。
MSRAG	“黑杰克”无人机111千米/小时飞行速度下的续航时间达15小时，可在6 096米高空作业，2016财年具备初始作战能力。一套“黑杰克”无人机系统包括5架无人机、1部舰载或2部陆基控制站，1套发射回收系统，以及地面配套设施。	“黑杰克”无人机系统的飞行速度为111千米/小时。在这样的速度下，其续航能力可达15小时。这意味着它对于执行持久监视、侦察或者其他远程任务非常有利。

面向军事领域知识问答系统的多策略检索增强生成方法

Multi-strategy retrieval-augmented generation method for military domain knowledge question answering systems

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 7

参考文献 21

相关文章 15

编辑推荐

Metrics

RAG方案	ACC	ROUGE-L
Qwen（baseline）	8.00	16.56
Qwen+MSR	41.05	45.21
Qwen+MSR+PTFE	47.00	50.83
Qwen+MSR+PTFE+QRAR	48.42	51.39

[1]	秦小林, 古徐, 李弟诚, 徐海文. 大语言模型综述与展望[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 685-696.
[2]	赵征宇, 罗景, 涂新辉. 基于多粒度语义融合的信息检索方法[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1775-1780.
[3]	胡文浩, 罗景, 涂新辉. 面向稠密检索的伪相关反馈方法[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1036-1042.
[4]	赵星宇, 赵志宏, 王业沛, 陈松宇. 基于聚类分析的微博广告发布者识别[J]. 计算机应用, 2018, 38(5): 1267-1271.
[5]	沈力, 刘洪星, 李勇华. 基于版本控制的中文文档到源代码的自动跟踪方法[J]. 计算机应用, 2018, 38(10): 2996-3001.
[6]	章宁, 陈钦. 基于TF-IDF算法的P2P贷款违约预测模型[J]. 计算机应用, 2018, 38(10): 3042-3047.
[7]	袁大曾, 何明星, 李虓, 曾晟珂. 基于点函数秘密共享的私有信息检索协议[J]. 计算机应用, 2017, 37(2): 494-498.
[8]	李岩, 张博文, 郝红卫. 基于语义向量表示的查询扩展方法[J]. 计算机应用, 2016, 36(9): 2526-2530.
[9]	孙芯宇, 吴江, 蒲强. 基于稳定性语义聚类的相关模型估计[J]. 计算机应用, 2016, 36(5): 1313-1318.
[10]	胡小生钟勇. 一种两层加权融合的排序算法[J]. 计算机应用, 2012, 32(12): 3331-3334.
[11]	鲁强李效恋王智广. 程序算法识别研究综述[J]. 计算机应用, 2012, 32(10): 2863-2868.
[12]	李劲张华吴浩雄向军. 基于特定领域的中文微博热点话题挖掘系统BTopicMiner[J]. 计算机应用, 2012, 32(08): 2346-2349.
[13]	李劲张华吴浩雄向军辜希武. 基于社会标注质量的文本分类模型框架[J]. 计算机应用, 2012, 32(05): 1335-1339.
[14]	曾文华黄桦. 基于网页信息检索的地理信息变化检测方法[J]. 计算机应用, 2010, 30(4): 1132-1134.
[15]	袁柳张龙波. 基于统计主题模型的多粒度Web文档标注[J]. 计算机应用, 2010, 30(12): 3401-3406.