融合全局和局部语义的司法要素抽取方法

doi:10.11772/j.issn.1001-9081.2025050558

《计算机应用》唯一官方网站 ›› 2026, Vol. 46 ›› Issue (5): 1460-1467.DOI: 10.11772/j.issn.1001-9081.2025050558

• 人工智能 • 上一篇

融合全局和局部语义的司法要素抽取方法

黄雨倩¹^,²^,³, 黄辉¹^,²^,³, 秦永彬¹^,²^,³(), 黄瑞章¹^,²^,³, 陈艳平¹^,²^,³, 周裕林¹^,²^,³, 孙倩⁴

^1.文本计算与认知智能教育部工程研究中心（贵州大学），贵阳 550025
^2.公共大数据国家重点实验室（贵州大学），贵阳 550025
^3.贵州大学计算机科学与技术学院，贵阳 550025
^4.绵阳师范学院信息工程学院，四川绵阳 621000

收稿日期:2025-05-21 修回日期:2025-06-16 接受日期:2025-06-26 发布日期:2025-07-10 出版日期:2026-05-10
通讯作者: 秦永彬
作者简介:黄雨倩（2001—），女，湖北武汉人，硕士研究生，主要研究方向：自然语言处理、信息抽取
黄辉（1994—），男，贵州贵阳人，博士，主要方向：自然语言处理、智能问答
黄瑞章（1979—），女，天津人，教授，博士，CCF会员，主要研究方向：数据融合分析、文本挖掘、网络挖掘、知识发现
陈艳平（1980—），男，贵州长顺人，教授，博士，CCF会员，主要研究方向：人工智能、自然语言处理
周裕林（1997—），男，贵州赤水人，博士研究生，主要研究方向：大数据、自然语言处理
孙倩（1996—），女，四川成都人，讲师，硕士，主要研究方向：自然语言处理。
基金资助:
国家重点研发计划项目(2023YFC3304500);贵州省研究生科研基金资助项目(2024YJSKYJJ041);贵州省科技支撑计划项目（黔科合支撑［2023］一般448）;四川省科技厅科技创新（苗子工程）培育及小创造项目(MZGC20240152)

Judicial element extraction method by integrating global and local semantics

Yuqian HUANG¹^,²^,³, Hui HUANG¹^,²^,³, Yongbin QIN¹^,²^,³(), Ruizhang HUANG¹^,²^,³, Yanping CHEN¹^,²^,³, Yulin ZHOU¹^,²^,³, Qian SUN⁴

^1.Text Computing and Cognitive Intelligence Engineering Research Center，Ministry of Education （Guizhou University），Guiyang Guizhou 550025，China
^2.State Key Laboratory of Public Big Data （Guizhou University），Guiyang Guizhou 550025，China
^3.College of Computer Science and Technology，Guizhou University，Guiyang Guizhou 550025，China
^4.School of Information Engineering，Mianyang Teachers' College，Mianyang Sichuan 621000，China

Received:2025-05-21 Revised:2025-06-16 Accepted:2025-06-26 Online:2025-07-10 Published:2026-05-10
Contact: Yongbin QIN
About author:HUANG Yuqian， born in 2001， M. S. candidate. Her research interests include natural language processing， information extraction.
HUANG Hui， born in 1994， Ph. D. His research interests include natural language processing， intelligent question answering.
HUANG Ruizhang， born in 1979， Ph. D.， professor. Her research interests include data fusion analysis， text mining， web mining， knowledge discovery.
CHEN Yanping， born in 1980， Ph. D.， professor. His research interests include artificial intelligence， natural language processing.
ZHOU Yulin， born in 1997， Ph. D. candidate. His research interests include big data， natural language processing.
SUN Qian， born in 1996， M. S.， lecturer. Her research interests include natural language processing.
Supported by:
National Key Research and Development Program of China(2023YFC3304500);Guizhou Provincial Postgraduate Research Fund(2024YJSKYJJ041);Sci-tech Innovation （Seedling Project） Cultivation and Small Creations Project of Science and Technology Department of Sichuan Province(MZGC20240152);Science and Technology Support Program of Guizhou Province （［2023］ Qian Ke He Support General 448）

摘要/Abstract

摘要：

司法领域的信息抽取是从司法文书中提取出细粒度的关键要素，可辅助司法工作者高效处理大量文书工作。然而，相较于通用领域，司法文书中的要素通常具有长度较长、语义分布广泛的特点，同时细粒度要求对局部细节的提取尤为严格。这使得模型不仅需要具备处理长距离依赖的能力，还需在局部范围内精准捕获细粒度的语义信息。针对该问题，提出一种融合全局和局部语义的司法要素抽取方法。首先，拼接要素标签与司法文书内容，并利用BERT（Bidirectional Encoder Representations from Transformers）模型进行深度嵌入。其次，引入自注意力机制增强模型对全局上下文的理解能力；同时，利用自适应多头注意力机制动态调节关注权重，确保能获取到更丰富且准确的语义特征。最后，结合二元交叉熵损失函数和高斯分布平滑边界的KL（Kullback-Leibler）散度损失函数，提升模型对要素边界识别的泛化能力。实验结果表明，与序列标注方法、跨度抽取方法及其他方法相比，所提方法在LAIC2023、CAIL2021司法要素抽取数据集上的F1值均有提升，其中在LAIC2023数据集上比次优模型DiffusionNER高2.88个百分点，在CAIL2021数据集上比次优的机器阅读理解（MRC）模型高1.01个百分点。

关键词: 信息抽取, 司法文书, 注意力特征融合, 全局语义, 局部语义

Abstract:

Judicial information extraction aims to identify fine-grained key elements in judicial documents， helping legal professionals efficiently manage large volumes of paperwork. Compared to general domains， elements in judicial documents are typically longer and semantically more dispersed， while fine-grained requirements place particularly strict demands on local detail extraction， making the model capable of handling long-range dependencies and precisely capturing fine-grained local semantic information. To address this challenge， a judicial element extraction method integrating global and local semantics was proposed. Firstly， element labels were concatenated with the content of judicial documents， and deep embeddings were generated using the BERT （Bidirectional Encoder Representations from Transformers） model. Secondly， a self-attention mechanism was introduced to enhance the model's comprehension of global context， while an adaptive multi-head attention mechanism dynamically adjusted attention weights to better capture rich， precise semantic features at the local level. Finally， to improve the model's generalization performance in identifying element boundaries， a combined loss function was designed that incorporated binary cross-entropy and KL （Kullback-Leibler） divergence with Gaussian-smoothed boundaries. Experimental results show that compared with sequence labeling methods， span-based extraction methods， and other methods， the proposed method achieves improvements in the F1 score on both the LAIC2023 and CAIL2021 legal element extraction datasets. Specifically， it outperforms the second-best model， DiffusionNER， by 2.88 percentage points on the LAIC2023 dataset， and on the CAIL2021 dataset， it outperforms the second-best Machine Reading Comprehension （MRC） model by 1.01 percentage points.

Key words: information extraction, judicial documents, attention-based feature fusion, global semantics, local semantics

中图分类号:

TP391

黄雨倩, 黄辉, 秦永彬, 黄瑞章, 陈艳平, 周裕林, 孙倩. 融合全局和局部语义的司法要素抽取方法[J]. 计算机应用, 2026, 46(5): 1460-1467.

Yuqian HUANG, Hui HUANG, Yongbin QIN, Ruizhang HUANG, Yanping CHEN, Yulin ZHOU, Qian SUN. Judicial element extraction method by integrating global and local semantics[J]. Journal of Computer Applications, 2026, 46(5): 1460-1467.

图/表 11

图1 通用领域和司法领域要素长度分布对比

Fig. 1 Comparison of length distribution of elements in general field and judicial field

图2 融合全局与局部语义的司法要素抽取方法框架

Fig. 2 Framework of judicial element extraction method fusing global and local semantics

图3 注意力掩码函数图

Fig. 3 Attention mask function diagram

表1 实验数据集

Tab. 1 Experimental datasets

数据集	LAIC2023			CAIL2021
数据集	样本数	字符数	实体数	样本数	字符数	实体数
训练集	1 088	1 718 490	5 365	4 197	268 004	21 326
测试集	136	221 600	725	525	34 158	2 726
验证集	136	204 453	720	525	32 848	2 609

表2 不同数据集上各模型性能对比 ( %)

Tab. 2 Comparison of model performance across different datasets

类型	方法	LAIC2023			CAIL2021
类型	方法	P	R	F₁	P	R	F₁
基于序列标注的方法	BERT-BiLSTM-CRF^［23］	68.23	54.78	61.38	87.79	85.32	86.54
	Layered^［24］	69.13	56.25	62.03	84.30	87.34	86.01
	Pyramid^［25］	71.58	55.49	62.52	88.76	87.13	87.18
基于跨度的方法	MRC^［26］	70.58	56.37	62.68	90.41	89.15	89.78
	Boundary Smoothing^［27］	70.61	55.83	62.36	87.14	86.12	86.63
	DiffusionNER^［28］	73.71	58.90	65.48	82.33	78.61	80.43
	BERT-BiLSTM-SPAN^［29］	70.85	59.38	64.61	89.42	89.68	89.55
其他方法	CodeIE^［30］	52.27	53.64	52.95	50.53	55.96	53.11
	PromptNER^［17］	54.38	55.69	55.03	56.52	57.91	57.21
	Qwen-7b-chat^［31］	56.37	57.94	57.14	53.94	63.33	58.26
	Seq2seq^［32］	62.52	60.91	61.70	83.16	87.83	85.43
	BiFlaG^［33］	50.62	52.36	51.48	63.21	71.22	66.98
基于跨度的方法	本文方法	74.91	62.87	68.36	91.35	90.23	90.79

表3 消融实验结果 ( %)

Tab. 3 Ablation experimental results

数据集	方法	P	R	F₁
LAIC2023	-联合嵌入	73.58	61.36	66.92
	-注意力特征融合	72.12	60.35	66.07
	-KL散度损失	73.36	61.47	66.89
	本文模型	74.91	62.87	68.36
CAIL2021	-联合嵌入	90.24	89.63	89.93
	-注意力特征融合	88.91	89.03	88.97
	-KL散度损失	89.42	90.33	89.87
	本文模型	91.35	90.23	90.79

图4 注意力得分热力图

Fig. 4 Attention score heatmaps

表4 参数分析

Tab. 4 Parameter analysis

参数	取值	P/%	R/%	F₁/%
$L s p a n$	12	74.91	62.87	68.36
	24	74.75	62.47	68.06
	46	74.48	62.13	67.75
$d m a x$	12	74.91	62.87	68.36
	24	74.22	62.65	67.95
	46	74.11	62.16	67.61

表4 参数分析

Tab. 4 Parameter analysis

参数	取值	P/%	R/%	F₁/%
$L s p a n$	12	74.91	62.87	68.36
	24	74.75	62.47	68.06
	46	74.48	62.13	67.75
$d m a x$	12	74.91	62.87	68.36
	24	74.22	62.65	67.95
	46	74.11	62.16	67.61

图5 δ参数的自适应学习趋势

Fig. 5 Adaptive learning trends of parameter δ

表5 案例分析

Tab. 5 Case study

案例	微调Qwen-7b-chat模型抽取结果	本文模型
1	“未经商标注册所有人许可”：“假冒注册商标”	“商标种类=1”：“DANIELWELLINGTON”
	“伪造、擅自制造 ”：“非法制造的注册商标标识”	“伪造、擅自制造 ”：“制作假冒”
	“伪造、擅自制造商标标识数量 ”：“134 800件”	“伪造、擅自制造商标标识数量”：“134 800件”
	“他人注册商标标识”：“DANIELWELLINGTON”	“他人注册商标标识”：“假冒注册商标DANIELWELLINGTON的包装盒”
2	“销售”： “销售”	“销售”： “销售”
	“假冒注册商标的商品”：“假冒苹果品牌的手机屏幕、耳机、充电器、手机壳等商品”	“假冒注册商标的商品”： “涉案苹果品牌的手机屏幕、耳机、充电器、手机壳”
	“销售金额”： “4.9万余元”	“销售金额”： “4.9万余元”
	“货值金额（未销售）”：“17.2万余元”	“货值金额（未销售）”： “17.2万余元”
	“故意”： “合伙经营深圳市钰创科技有限公司，对外销售涉案苹果品牌的手机屏幕、耳机、充电器、手机壳等商品”	“故意”： “其中被告人罗创越主要负责涉案苹果品牌的手机屏幕的进货及涉案苹果品牌的商品的对外销售，被告人邹裕炫负责涉案苹果品牌的耳机、充电器、手机壳等商品的进货”

表6 不同粒度抽取效果分析

Tab. 6 Analysis of extraction effects at different granularities

模型	F₁/%
模型	短要素	中要素	长要素
Pyramid	65.82	62.86	57.67
DiffusionNER	63.25	66.64	67.02
Seq2seq	62.52	63.74	55.75
本文模型	67.46	68.51	69.39

参考文献 33

[1]	李珊.公众法感融入司法裁判的实践路径［J］.法律适用，2024（4）：144-158.
	LI S. The practice path of integrating public legal sense into judicial decision［J］. Journal of Law Application， 2024（4）： 144-158.
[2]	王玉薇，张丹丹，赵勇行.人工智能辅助量刑的法律风险及规制路径［J］.黑河学院学报，2022，13（3）：16-19.
	WANG Y W， ZHANG D D， ZHAO Y H. Legal risks and regulatory paths of sentencing assisted by artificial intelligence［J］. Journal of Heihe University， 2022， 13（3）： 16-19.
[3]	王燕玲.论命名实体识别技术在司法大数据中的适用［J］.政法论坛，2022，40（5）：40-52.
	WANG Y L. On the application of named entity recognition technology in judicial big data［J］. Tribune of Political Science and Law， 2022， 40（5）： 40-52.
[4]	CHITICARIU L， KRISHAMURTHY R， LI Y， et al. Domain adaptation of rule-based annotators for named-entity recognition tasks［C］// Proceedings of the 2010 Conference on Empirical Methods in Natural Language Processing. Stroudsburg： ACL， 2010： 1002-1012.
[5]	TANG P， YANG P， SHI Y， et al. Recognizing Chinese judicial named entity using BiLSTM-CRF［J］. Journal of Physics： Conference Series， 2020， 1592： No.012040.
[6]	STRUBELL E， VERGA P， BELANGER D， et al. Fast and accurate entity recognition with iterated dilated convolutions［C］// Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing. Stroudsburg： ACL， 2017： 2670-2680.
[7]	DEVLIN J， CHANG M W， LEE K， et al. BERT： pre-training of deep bidirectional Transformers for language understanding［C］// Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies， Volume 1 （Long and Short Papers）. Stroudsburg： ACL， 2019： 4171-4186.
[8]	SENAY G， SALIN E. Masked ELMo： an evolution of ELMo towards fully contextual RNN language models［EB/OL］. ［2024-11-07］..
[9]	SUN Y， WANG S， FENG S， et al. ERNIE 3.0： large-scale knowledge enhanced pre-training for language understanding and generation［EB/OL］. ［2025-03-12］..
[10]	DAI Z， WANG X， NI P， et al. Named entity recognition using BERT BiLSTM CRF for Chinese electronic health records［C］// Proceedings of the 12th International Congress on Image and Signal Processing. Piscataway： IEEE， 2019： 1-5.
[11]	李春楠，王雷，孙媛媛，等.基于BERT的盗窃罪法律文书命名实体识别方法［J］.中文信息学报，2021，35（8）：73-81.
	LI C N， WANG L， SUN Y Y， et al. BERT based named entity recognition for legal texts on theft cases［J］. Journal of Chinese Information Technology， 2021， 35（8）： 73-81.
[12]	ZHANG H， GUO J， WANG Y， et al. Judicial nested named entity recognition method with MRC framework［J］. International Journal of Cognitive Computing in Engineering， 2023， 4： 118-126.
[13]	黄辉，秦永彬，陈艳平，等.基于BERT阅读理解框架的司法要素抽取方法［J］.大数据，2021，7（6）：19-29.
	HUANG H， QIN Y B， CHEN Y P， et al. Legal element extraction method based on BERT reading comprehension framework［J］. Big Data Research， 2021， 7（6）： 19-29.
[14]	窦文琦，陈艳平，秦永彬，等.基于机器阅读理解的案件要素识别方法［J］.计算机工程与设计，2023，44（8）：2475-2481.
	DOU W Q， CHEN Y P， QIN Y B， et al. Method for case element recognition based on machine reading comprehension［J］. Computer Engineering and Design， 2023， 44（8）： 2475-2481.
[15]	SOHRAB M G， MIWA M. Deep exhaustive model for nested named entity recognition［C］// Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. Stroudsburg： ACL， 2018： 2843-2849.
[16]	YU J， BOHNET B， POESIO M. Named entity recognition as dependency parsing［C］// Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg： ACL， 2020： 6470-6476.
[17]	WANG S H， SUN X， LI X， et al. GPT-NER： named entity recognition via large language models［C］// Findings of the Association for Computational Linguistics： NAACL 2025. Stroudsburg： ACL， 2025： 4257-4275.
[18]	ZHANG J， LIU X， LAI X， et al. 2INER： instructive and in-context learning on few-shot named entity recognition［C］// Findings of the Association for Computational Linguistics： EMNLP 2023. Stroudsburg： ACL， 2023： 3940-3951.
[19]	POLAK M P， MORGAN D. Extracting accurate materials data from research papers with conversational language models and prompt engineering［J］. Nature Communications， 2024， 15（1）： No.1569.
[20]	WEI X， CUI X， CHENG N， et al. ChatIE： zero-shot information extraction via chatting with ChatGPT［EB/OL］. ［2025-01-09］..
[21]	SHAW P， USZKOREIT J， VASWANI A. Self-attention with relative position representations［C］// Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies， Volume 2 （Short Papers）. Stroudsburg： ACL， 2018： 464-468.
[22]	SUKHBAATAR S， GRAVE E， BOJANOWSKI P， et al. Adaptive attention span in Transformers［C］// Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Stroudsburg： ACL， 2019： 331-335.
[23]	DARJI H， MITROVIĆ J， GRANITZER M. German BERT model for legal named entity recognition［C］// Proceedings of the 15th International Conference on Agents and Artificial Intelligence — Volume 3： ICAART. Setúbal： SciTePress， 2023： 723-728.
[24]	JU M， MIWA M， ANANIADOU S. A neural layered model for nested named entity recognition［C］// Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies， Volume 1 （Long Papers）. Stroudsburg： ACL， 2018： 1446-1459.
[25]	WANG J， SHOU L， CHEN K， et al. Pyramid： a layered model for nested named entity recognition［C］// Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg： ACL， 2020： 5918-5928.
[26]	LI X， FENG J， MENG Y， et al. A unified MRC framework for named entity recognition［C］// Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg： ACL， 2020： 5849-5859.
[27]	ZHU E， LI J. Boundary smoothing for named entity recognition［C］// Proceedings of the 60th Annual Meeting of the Association for Computational Linguistics （Volume 1： Long Papers）. Stroudsburg： ACL， 2022： 7096-7108.
[28]	SHEN Y， SONG K， TAN X， et al. DiffusionNER： boundary Diffusion for Named Entity Recognition［C］// Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics （Volume 1： Long Papers）. Stroudsburg： ACL， 2023： 3875-3890.
[29]	WENG M， ZHANG W. Named entity recognition based on BERT-BiLSTM-SPAN in low resource scenarios［C］// Proceedings of the 15th International Conference on Computer Research and Development. Piscataway： IEEE， 2023： 32-37.
[30]	LI P， SUN T， TANG Q， et al. CodeIE： large code generation models are better few-shot information extractors［C］// Proceedings of the 61st Annual Meeting of the Association for Computational Linguistics （Volume 1： Long Papers）. Stroudsburg： ACL， 2023： 15339-15353.
[31]	BAI J， BAI S， CHU Y， et al. Qwen technical report［EB/OL］. ［2025-03-01］..
[32]	CHEN L， MOSCHITTI A. Learning to progressively recognize new named entities with sequence to sequence models［C］// Proceedings of the 27th International Conference on Computational Linguistics. Stroudsburg： ACL， 2018： 2181-2191.
[33]	LUO Y， ZHAO H. Bipartite flat-graph network for nested named entity recognition［C］// Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg： ACL， 2020： 6408-6418.

融合全局和局部语义的司法要素抽取方法

Judicial element extraction method by integrating global and local semantics

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 11

参考文献 33

相关文章 15

编辑推荐

Metrics

[1]	王倩飞, 李旸, 李德玉, 王素格. 基于大语言模型的双通道特征融合表示的短文本聚类方法[J]. 《计算机应用》唯一官方网站, 2026, 46(5): 1441-1449.
[2]	孙熠衡, 刘茂福. 基于知识提示微调的标书信息抽取方法[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1169-1176.
[3]	田悦霖, 黄瑞章, 任丽娜. 融合局部语义特征的学者细粒度信息提取方法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2707-2714.
[4]	许亮, 张春, 张宁, 田雪涛. 融合多Prompt模板的零样本关系抽取模型[J]. 《计算机应用》唯一官方网站, 2023, 43(12): 3668-3675.
[5]	罗萍, 丁玲, 杨雪, 向阳. 基于数据增强和弱监督对抗训练的中文事件检测[J]. 《计算机应用》唯一官方网站, 2022, 42(10): 2990-2995.
[6]	崔博文, 金涛, 王建民. 自由文本电子病历信息抽取综述[J]. 计算机应用, 2021, 41(4): 1055-1063.
[7]	罗明, 黄海量. 基于词汇语义模式的金融事件信息抽取方法[J]. 计算机应用, 2018, 38(1): 84-90.
[8]	张志华, 王建祥, 田俊峰, 吴国顺, 兰曼. 基于多元特征的分块人物关系识别系统[J]. 计算机应用, 2016, 36(3): 751-757.
[9]	马建红, 张明月, 赵亚男. 面向创新设计的专利知识抽取方法[J]. 计算机应用, 2016, 36(2): 465-471.
[10]	李汝君, 张俊, 张晓民, 桂小庆. 健康领域Web信息抽取[J]. 计算机应用, 2016, 36(1): 163-170.
[11]	胡杨, 戴丹, 刘骊, 冯旭鹏, 刘利军, 黄青松. 基于情感角色模型的文本情感分类方法[J]. 计算机应用, 2015, 35(5): 1310-1313.
[12]	赵佳鹏, 林民. 基于维基百科的领域历史沿革信息抽取[J]. 计算机应用, 2015, 35(4): 1021-1025.
[13]	李萍朱建波周立新廖彬. 基于快速构建模板的购物信息抽取方法[J]. 计算机应用, 2014, 34(3): 733-737.
[14]	赵知纬顾静航胡亚楠钱龙华周国栋. 基于支持向量机分类和语义信息的中文跨文本指代消解[J]. 计算机应用, 2013, 33(04): 984-987.
[15]	王健冀明辉林鸿飞杨志豪. 基于上下文环境和句法分析的蛋白质关系抽取[J]. 计算机应用, 2012, 32(04): 1074-1077.