结合大语言模型与动态提示的裁判文书摘要方法

doi:10.11772/j.issn.1001-9081.2024091393

《计算机应用》唯一官方网站 ›› 2025, Vol. 45 ›› Issue (9): 2783-2789.DOI: 10.11772/j.issn.1001-9081.2024091393

• 人工智能 • 上一篇

结合大语言模型与动态提示的裁判文书摘要方法

张滨滨¹^,²^,³, 秦永彬¹^,²^,³(), 黄瑞章¹^,²^,³, 陈艳平¹^,²^,³

^1.贵州大学计算机科学与技术学院，贵阳 550025
^2.公共大数据国家重点实验室（贵州大学），贵阳 550025
^3.文本计算与认知智能教育部工程研究中心（贵州大学），贵阳 550025

收稿日期:2024-10-07 修回日期:2025-01-08 接受日期:2025-01-16 发布日期:2025-03-21 出版日期:2025-09-10
通讯作者: 秦永彬
作者简介:张滨滨（1999—），男，贵州仁怀人，硕士研究生，CCF会员，主要研究方向：自然语言处理、司法摘要
黄瑞章（1979—），女，天津人，教授，博士，CCF会员，主要研究方向：大数据、数据挖掘、信息提取
陈艳平（1980—），男，贵州长顺人，教授，博士，CCF会员，主要研究方向：人工智能、自然语言处理。
基金资助:
国家重点研发计划项目(2023YFC3304500);贵州省科学技术基金重点资助项目(［2024］003)

Judgment document summarization method combining large language model and dynamic prompts

Binbin ZHANG¹^,²^,³, Yongbin QIN¹^,²^,³(), Ruizhang HUANG¹^,²^,³, Yanping CHEN¹^,²^,³

^1.College of Computer Science and Technology，Guizhou University，Guiyang Guizhou 550025，China
^2.State Key Laboratory of Public Big Data （Guizhou University），Guiyang Guizhou 550025，China
^3.Text Computing and Cognitive Intelligence Engineering Research Center of National Education Ministry，（Guizhou University），Guiyang Guizhou 550025，China

Received:2024-10-07 Revised:2025-01-08 Accepted:2025-01-16 Online:2025-03-21 Published:2025-09-10
Contact: Yongbin QIN
About author:ZHANG Binbin， born in 1999， M. S. candidate. His research interests include natural language processing， judicial summarization.
HUANG Ruizhang， born in 1979， Ph. D.， professor. Her research interests include big data， data mining， information extraction.
CHEN Yanping， born in 1980， Ph. D.， professor. His research interests include artificial intelligence， natural language processing.
Supported by:
National Key Research and Development Program of China(2023YFC3304500);Key Project of Science and Technology Foundation of Guizhou Province(［2024］ 003)

摘要/Abstract

摘要：

针对裁判文书案件结构复杂、涉案事实冗余且案情分布广泛的问题，现有的大语言模型（LLM）难以有效关注结构信息并可能会产生事实错误关联，从而导致结构信息缺失和事实不一致。因此，提出一种结合LLM与动态提示的裁判文书摘要方法DPCM（Dynamic Prompt Correction Method）。首先，利用LLM进行单样本学习，以生成裁判文书摘要。其次，计算原文与摘要之间的高维相似性，以检测摘要中可能存在的结构缺失或事实不一致的问题：如果发现问题，将错误摘要与原文拼接，并加入提示词，随后再次进行单样本学习，以修正并生成新的摘要，且再次进行相似性检测，如果问题仍然存在，则重复此生成与检测过程。最后，通过这种反复迭代的方式动态调整提示词，以逐步优化生成的摘要。在CAIL2020公共司法摘要数据集上的实验结果表明，相较于Least-To-Most-Prompting、Zero-Shot-Reasoners和Self_Consistency_Cot等方法，所提方法在Rouge-1、Rouge-2、Rouge-L、BERTscore、FactCC （Factual Consistency）指标上均有所提高。

关键词: 大语言模型, 动态提示, 裁判文书摘要, 结构缺失, 事实不一致

Abstract:

In view of the problems of complex case structure， redundant facts involved in cases， and wide distribution of cases in judgment documents， the existing Large Language Models （LLMs） are difficult to focus on structural information effectively and may generate factual errors， resulting in missing structural information and factual inconsistency. To this end， a judgment document summary method combining LLMs and dynamic prompts， named DPCM （Dynamic Prompt Correction Method）， was proposed. Firstly， LLMs were used for single-sample learning to generate a judgment document summary. Secondly， high-dimensional similarity between the original text and the summary was calculated to detect possible missing structure or factual inconsistency problems in the summary. If a problem was found， the wrong summary was spliced with the original text， and the prompt words were added. Then， one-shot learning was performed again to correct and generate a new summary， and a similarity test was performed again. If the problem still existed， the generation and detection process would be repeated. Finally， through this iterative method， the prompt words were adjusted dynamically to optimize the generated summary gradually. Experimental results on the CAIL2020 public justice summary dataset show that compared with Least-To-Most Prompting， Zero-Shot Reasoners， Self_Consistency_Cot and other methods， the proposed method has improvements in Rouge-1， Rouge-2， Rouge-L， BERTscore， FactCC （Factual Consistency） indicators.

Key words: Large Language Model (LLM), dynamic prompt, judgment document summary, missing structure, factual inconsistency

中图分类号:

TP391

张滨滨, 秦永彬, 黄瑞章, 陈艳平. 结合大语言模型与动态提示的裁判文书摘要方法[J]. 计算机应用, 2025, 45(9): 2783-2789.

Binbin ZHANG, Yongbin QIN, Ruizhang HUANG, Yanping CHEN. Judgment document summarization method combining large language model and dynamic prompts[J]. Journal of Computer Applications, 2025, 45(9): 2783-2789.

图/表 10

参考文献 26

[1]	WIDYASSARI A P， RUSTAD S， SHIDIK G F， et al. Review of automatic text summarization techniques & methods ［J］. Journal of King Saud University — Computer and Information Sciences， 2022， 34（4）： 1029-1046.
[2]	KANAPALA A， PAL S， PAMULA R. Text summarization from legal documents： a survey ［J］. Artificial Intelligence Review， 2019， 51（3）： 371-402.
[3]	CELIKYILMAZ A， BOSSELUT A， HE X， et al. Deep communicating agents for abstractive summarization ［C］// Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies， Volume 1 （Long Papers）. Stroudsburg： ACL， 2018： 1662-1675.
[4]	BHATTACHARYA P， PODDAR S， RUDRA K， et al. Incorporating domain knowledge for extractive summarization of legal case documents ［C］// Proceedings of the 18th International Conference on Artificial Intelligence and Law. New York： ACM， 2021： 22-31.
[5]	LI D， YANG K， ZHANG L， et al. CLASS： a novel method for Chinese legal judgments summarization ［C］// Proceedings of the 5th International Conference on Computer Science and Application Engineering. New York： ACM， 2021： No.86.
[6]	周蔚，王兆毓，魏斌. 面向法律裁判文书的生成式自动摘要模型［J］. 计算机科学， 2021， 48（12）： 331-336.
	ZHOU W， WANG Z Y， WEI B. Abstractive automatic summarizing model for legal judgment documents ［J］. Computer Science， 2021， 48（12）： 331-336.
[7]	魏鑫炀，秦永彬，唐向红，等. 融合法条的司法裁判文书摘要生成方法［J］. 计算机工程与设计， 2023， 44（9）： 2844-2850.
	WEI X Y， QIN Y B， TANG X H， et al. Method of abstracting judgement document combined with law ［J］. Computer Engineering and Design， 2023， 44（9）： 2844-2850.
[8]	余帅，宋玉梅，秦永彬，等. 基于审判逻辑步骤的裁判文书摘要生成方法［J］. 计算机工程与应用， 2024， 60（4）： 113-121.
	YU S， SONG Y M， QIN Y B， et al. Method for generating summary of judgment documents based on trial logic steps ［J］. Computer Engineering and Applications， 2024， 60（4）： 113-121.
[9]	陈炫言，安娜，孙宇，等. 面向司法文书的抽取-生成式自动摘要模型［J］. 计算机工程与设计， 2024， 45（4）： 1117-1125.
	CHEN X Y， AN N， SUN Y， et al. Automatic extraction-generative automatic summarization model for judicial documents ［J］. Computer Engineering and Design， 2024， 45（4）： 1117-1125.
[10]	裴炳森，李欣，胡凯茜，等. 基于知识增强预训练模型的司法文本摘要生成［J］. 科学技术与工程， 2024， 24（20）： 8587-8597.
	PEI B S， LI X， HU K X， et al. Judicial text summarization based on knowledge-enhanced pretrained language models ［J］. Science Technology and Engineering， 2024， 24（20）： 8587-8597.
[11]	李佳沂，黄瑞章，陈艳平，等. 结合提示学习和Qwen大语言模型的裁判文书摘要方法［J］. 清华大学学报（自然科学版）， 2024， 64（12）： 2007-2018.
	LI J Y， HUANG R Z， CHEN Y P， et al. Method for judicial document summarization by combining prompt learning and Qwen large language models ［J］. Journal of Tsinghua University （Science and Technology）， 2024， 64（12）： 2007-2018.
[12]	WEI J， WANG X， SCHUURMANS D， et al. Chain-of-thought prompting elicits reasoning in large language models ［C］// Proceedings of the 36th International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2022： 24824-24837.
[13]	ZHOU D， SCHÄRLI N， HOU L， et al. Least-to-most prompting enables complex reasoning in large language models ［EB/OL］. ［2024-08-21］. .
[14]	WANG X， WEI J， SCHUURMANS D， et al. Self-consistency improves chain of thought reasoning in language models ［EB/OL］. ［2024-08-19］. .
[15]	ZHANG Z， ZHANG A， LI M， et al. Automatic chain of thought prompting in large language models［EB/OL］. ［2024-08-23］..
[16]	Team Qwen. Qwen technical report ［R/OL］. ［2024-03-20］..
[17]	SHABAN A， BANSAL S， LIU Z， et al. One-shot learning for semantic segmentation ［C］// Proceedings of the 2017 British Machine Vision Conference. Durham： BMVA Press， 2017： No.167.
[18]	DEVLIN J， CHANG M W， LEE K， et al. BERT： pre-training of deep bidirectional Transformers for language understanding ［C］// Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies， Volume 1 （Long and Short Papers）. Stroudsburg： ACL， 2019： 4171-4186.
[19]	LIN C Y. ROUGE： a package for automatic evaluation of summaries ［C］// Proceedings of the ACL-04 Workshop： Text Summarization Branches Out. Stroudsburg： ACL， 2004： 74-81.
[20]	ZHANG T， KISHORE V， WU F， et al. BERTscore： evaluating text generation with BERT ［EB/OL］. ［2024-06-02］. .
[21]	KRYŚCIŃSKI W， McCANN B， XIONG C， et al. Evaluating the factual consistency of abstractive text summarization ［C］// Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing. Stroudsburg： ACL， 2020： 9332-9346.
[22]	YANG J， WANG M， ZHOU H， et al. Towards making the most of BERT in neural machine translation ［C］// Proceedings of the 34th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2020： 9378-9385.
[23]	Team GLM. ChatGLM： a family of large language models from GLM-130B to GLM-4 all tools ［EB/OL］. ［2024-08-10］. .
[24]	Inc Baichuan. Baichuan 2： open large-scale language models ［EB/OL］. ［2024-05-08］..
[25]	YUE S， CHEN W， WANG S， et al. DISC-LawLLM： fine-tuning large language models for intelligent legal services ［EB/OL］. ［2024-08-07］..
[26]	KOJIMA T， GU S S， REID M， et al. Large language models are zero-shot reasoners ［C］// Proceedings of the 36th International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2022： 22199-22213.

原始文本（节选）	摘要	文书结构
梁启照与梁叶光租赁合同纠纷……原告梁启照与被告梁叶光租赁合同纠纷一案，本院于2017年7月18日立案后，依法适用简易程序，公开开庭进行了审理。	原被告系租赁合同纠纷。	案件类型
原告梁启照、被告梁叶光到庭参加诉讼。本案现已审理终结。原告梁启照向本院提出诉讼请求：要求被告赔偿损失的80%即80 000元。事实理由……。	原告提出诉讼请求：要求被告赔偿损失的80%即80 000元。	原告诉求
事实理由……被告梁叶光辩称，梁叶光不同意向梁启照赔偿。梁启照的主张没有法律依据，没有证据证明大暴雨造成水浸的责任在于梁叶光。	被告辩称，被告不同意向原告赔偿。原告的主张没有法律依据，没有证据证明大暴雨造成水浸的责任在于被告。	被告辩称
本院经审理认定事实如下：2016年11月1日，被告梁叶光作为甲方，原告梁启照及案外人梁x甲、梁x乙作为乙方，双方签订《土地租赁合同》……经查，原、被告均确认本案租赁物为土地，并不包括地上构筑物，梁叶光已按约履行了出租人交付土地并保持土地可使用的义务。涉案地点的土地属于集体经济组织所有，当出现自然灾害导致水浸时，出租人并不负有法定的排水防洪义务，梁启照在租赁土地上的经营风险属于承租人的自身风险，其据此主张梁叶光承担责任的诉讼请求无法律依据，本院依法予以驳回。	经查，双方签订《土地租赁合同》，原、被告均确认本案租赁物为土地，并不包括地上构筑物，被告已按约履行了出租人交付土地并保持土地可使用的义务。涉案地点的土地属于集体经济组织所有，当出现自然灾害导致水浸时，出租人并不负有法定的，l排水防洪义务，原告在租赁土地上的经营风险属于承租人的自身风险，其据此主张被告承担责任的诉讼请求，本院依法予以驳回。	事实描述
综上所述，依照《中华人民共和国民法典》第七百四十二条的规定。	依《中华人民共和国民法典》。	判决依据
判决如下：驳回原告梁启照的全部诉讼请求……	判决：驳回原告的全部诉求。	判决结果

原始文本（节选）	摘要	文书结构
梁启照与梁叶光租赁合同纠纷……原告梁启照与被告梁叶光租赁合同纠纷一案，本院于2017年7月18日立案后，依法适用简易程序，公开开庭进行了审理。	原被告系租赁合同纠纷。	案件类型
原告梁启照、被告梁叶光到庭参加诉讼。本案现已审理终结。原告梁启照向本院提出诉讼请求：要求被告赔偿损失的80%即80 000元。事实理由……。	原告提出诉讼请求：要求被告赔偿损失的80%即80 000元。	原告诉求
事实理由……被告梁叶光辩称，梁叶光不同意向梁启照赔偿。梁启照的主张没有法律依据，没有证据证明大暴雨造成水浸的责任在于梁叶光。	被告辩称，被告不同意向原告赔偿。原告的主张没有法律依据，没有证据证明大暴雨造成水浸的责任在于被告。	被告辩称
本院经审理认定事实如下：2016年11月1日，被告梁叶光作为甲方，原告梁启照及案外人梁x甲、梁x乙作为乙方，双方签订《土地租赁合同》……经查，原、被告均确认本案租赁物为土地，并不包括地上构筑物，梁叶光已按约履行了出租人交付土地并保持土地可使用的义务。涉案地点的土地属于集体经济组织所有，当出现自然灾害导致水浸时，出租人并不负有法定的排水防洪义务，梁启照在租赁土地上的经营风险属于承租人的自身风险，其据此主张梁叶光承担责任的诉讼请求无法律依据，本院依法予以驳回。	经查，双方签订《土地租赁合同》，原、被告均确认本案租赁物为土地，并不包括地上构筑物，被告已按约履行了出租人交付土地并保持土地可使用的义务。涉案地点的土地属于集体经济组织所有，当出现自然灾害导致水浸时，出租人并不负有法定的，l排水防洪义务，原告在租赁土地上的经营风险属于承租人的自身风险，其据此主张被告承担责任的诉讼请求，本院依法予以驳回。	事实描述
综上所述，依照《中华人民共和国民法典》第七百四十二条的规定。	依《中华人民共和国民法典》。	判决依据
判决如下：驳回原告梁启照的全部诉讼请求……	判决：驳回原告的全部诉求。	判决结果

模型	隐藏层数	注意力头数	隐藏层神经元数	词表数
ChatGLM3-6B	4 096	32	28	65 024
Qwen-7B	4 096	32	32	151 936
Baichuan2-7B	4 096	32	32	125 696
Qwen-14B	5 120	40	40	152 064
DISC-LawLLM	5 120	40	40	64 000

模型	隐藏层数	注意力头数	隐藏层神经元数	词表数
ChatGLM3-6B	4 096	32	28	65 024
Qwen-7B	4 096	32	32	151 936
Baichuan2-7B	4 096	32	32	125 696
Qwen-14B	5 120	40	40	152 064
DISC-LawLLM	5 120	40	40	64 000

数据集	模型	Rouge-1	Rouge-2	Rouge-L	BERTscore	FactCC
数据集	模型	Rouge-1	Rouge-2	Rouge-L	BERTscore	F1分数	加权Acc
CAIL2022	Qwen-7B	45.15	23.84	33.57	70.20	79.39	79.95
	Qwen-7B+DPCM	48.23	27.28	36.88	71.88	82.70	84.22
	ChatGLM3-6B	50.79	30.56	41.19	73.09	80.07	82.26
	ChatGLM3-6B+DPCM	52.63	32.67	42.84	74.02	81.03	82.72
	Baichuan2-7B	49.87	29.56	39.65	73.00	83.25	84.61
	Baichuan2-7B+DPCM	51.30	31.16	41.77	73.42	83.82	85.07
	Qwen-14B	45.22	24.01	34.15	70.46	79.59	80.76
	Qwen-14B+DPCM	45.59	24.90	35.07	71.03	81.26	82.30
	DISC-LawLLM	58.04	43.10	52.25	77.78	87.01	89.79
	DISC-LawLLM+DPCM	58.70	43.74	52.67	78.01	87.63	90.20
CAIL2020	Qwen-7B	46.87	21.50	34.16	68.41	78.00	79.87
	Qwen-7B+DPCM	56.04	30.04	44.31	73.95	85.10	88.28
	ChatGLM3-6B	53.96	28.46	40.33	72.03	83.00	85.22
	ChatGLM3-6B+DPCM	58.02	33.21	47.34	73.96	87.84	90.79
	Baichuan2-7B	56.04	30.94	44.80	73.45	85.24	86.32
	Baichuan2-7B+DPCM	59.50	33.69	48.95	75.04	87.60	90.17
	Qwen-14B	55.74	29.54	42.06	73.27	82.61	84.82
	Qwen-14B+DPCM	57.65	31.40	44.80	73.84	83.17	86.32
	DISC-LawLLM	46.42	20.92	33.46	68.22	78.62	80.38
	DISC-LawLLM+DPCM	50.16	24.59	38.43	70.79	79.77	82.30

结合大语言模型与动态提示的裁判文书摘要方法

Judgment document summarization method combining large language model and dynamic prompts

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 26

相关文章 15

编辑推荐

Metrics

方法	Rouge-1	Rouge-2	Rouge-L	BERTscore	FactCC
方法	Rouge-1	Rouge-2	Rouge-L	BERTscore	F1分数	加权Acc
Least-To-Most-Prompting^［13］	45.48	20.01	32.55	68.93	71.71	73.29
Zero-Shot-Reasoners^［26］	44.81	21.68	34.19	68.95	76.39	77.35
Qwen-7B+标准提示（Baseline）	46.87	21.50	34.16	68.41	78.00	79.87
CoT^［11］	48.79	23.17	36.58	67.78	81.07	82.69
Self_Consistency_Cot^［14］	50.45	24.04	37.30	70.37	84.69	86.17
Qwen-7B+DPCM	56.04	30.04	44.31	73.95	85.10	88.28

迭代次数	Rouge-1/%	Rouge-2/%	Rouge-L/%	BERTscore/%	FactCC/%
迭代次数	Rouge-1/%	Rouge-2/%	Rouge-L/%	BERTscore/%	F1分数	加权Acc
1	53.60	28.21	40.13	72.19	82.91	85.13
2	55.66	29.68	43.98	73.93	84.94	87.93
3	56.04	30.04	44.31	73.95	85.10	88.28

[1]	冯涛, 刘晨. 自动化偏好对齐的双阶段提示调优方法[J]. 《计算机应用》唯一官方网站, 2025, 45(8): 2442-2447.
[2]	孙熠衡, 刘茂福. 基于知识提示微调的标书信息抽取方法[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1169-1176.
[3]	曹鹏, 温广琪, 杨金柱, 陈刚, 刘歆一, 季学纯. 面向测试用例生成的大模型高效微调方法[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 725-731.
[4]	徐月梅, 叶宇齐, 何雪怡. 大语言模型的偏见挑战：识别、评估与去除[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 697-708.
[5]	杨燕, 叶枫, 许栋, 张雪洁, 徐津. 融合大语言模型和提示学习的数字孪生水利知识图谱构建[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 785-793.
[6]	何静, 沈阳, 谢润锋. 大语言模型幻觉现象的识别与优化[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 709-714.
[7]	陈维, 施昌勇, 马传香. 基于多模态数据融合的农作物病害识别方法[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 840-848.
[8]	孙晨伟, 侯俊利, 刘祥根, 吕建成. 面向工程图纸理解的大语言模型提示生成方法[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 801-807.
[9]	董艳民, 林佳佳, 张征, 程程, 吴金泽, 王士进, 黄振亚, 刘淇, 陈恩红. 个性化学情感知的智慧助教算法设计与实践[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 765-772.
[10]	马灿, 黄瑞章, 任丽娜, 白瑞娜, 伍瑶瑶. 基于大语言模型的多输入中文拼写纠错方法[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 849-855.
[11]	秦小林, 古徐, 李弟诚, 徐海文. 大语言模型综述与展望[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 685-696.
[12]	袁成哲, 陈国华, 李丁丁, 朱源, 林荣华, 钟昊, 汤庸. ScholatGPT：面向学术社交网络的大语言模型及智能应用[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 755-764.
[13]	张学飞, 张丽萍, 闫盛, 侯敏, 赵宇博. 知识图谱与大语言模型协同的个性化学习推荐[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 773-784.
[14]	鲁超峰, 陶冶, 文连庆, 孟菲, 秦修功, 杜永杰, 田云龙. 融合大语言模型和预训练模型的少量语料说话人-情感语音转换方法[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 815-822.
[15]	盛坤, 王中卿. 基于大语言模型和数据增强的通感隐喻分析[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 794-800.