层次融合多元知识的命名实体识别框架——HTLR

doi:10.11772/j.issn.1001-9081.2023111699

《计算机应用》唯一官方网站 ›› 2025, Vol. 45 ›› Issue (1): 40-47.DOI: 10.11772/j.issn.1001-9081.2023111699

层次融合多元知识的命名实体识别框架——HTLR

吕学强¹, 王涛¹, 游新冬¹(), 徐戈²

^1.网络文化与数字传播北京市重点实验室（北京信息科技大学），北京 100101
^2.福建省信息处理与智能控制重点实验室（闽江学院），福州 350108

收稿日期:2023-12-06 修回日期:2024-05-11 接受日期:2024-05-20 发布日期:2024-07-25 出版日期:2025-01-10
通讯作者: 游新冬
作者简介:吕学强（1970—），男，辽宁抚顺人，教授，博士，CCF高级会员，主要研究方向：自然语言处理；
王涛（1998—），男，河北廊坊人，硕士研究生，主要研究方向：知识图谱；
徐戈（1978—），男，浙江淳安人，教授，博士，主要研究方向：自然语言处理。
基金资助:
国家自然科学基金资助项目(62171043);北京市自然科学基金资助项目(4212020);华能集团总部科技项目HNKJ21?HF43;中央引导地方项目(2020L3024);北京市教育委员会研究与发展计划项目(KM202111232001)

HTLR： named entity recognition framework with hierarchical fusion of multi-knowledge

Xueqiang LYU¹, Tao WANG¹, Xindong YOU¹(), Ge XU²

^1.Beijing Key Laboratory of Internet Culture and Digital Dissemination Research （Beijing Information Science and Technology University），Beijing 100101，China
^2.Fujian Provincial Key Laboratory of Information Processing and Intelligent Control （Minjiang University），Fuzhou Fujian 350108，China

Received:2023-12-06 Revised:2024-05-11 Accepted:2024-05-20 Online:2024-07-25 Published:2025-01-10
Contact: Xindong YOU
About author:LYU Xueqiang， born in 1970， Ph. D.， professor. His research interests include natural language processing.
WANG Tao， born in 1998， M. S. candidate. His research interests include knowledge graph.
XU Ge， born in 1978， Ph. D.， professor. His research interests include natural language processing.
Supported by:
National Natural Science Foundation of China(62171043);Natural Science Foundation of Beijing(4212020);Huaneng Group Headquarters Technology Project(HNKJ21-HF43);Central Leading Local Project(2020L3024);Research and Development Program of Beijing Municipal Education Commission(KM202111232001)

摘要/Abstract

摘要：

中文命名实体识别（NER）任务旨在抽取非结构化文本中包含的实体并给它们分配预定义的实体类别。针对大多数中文NER方法在上下文信息缺乏时的语义学习不足问题，提出一种层次融合多元知识的NER框架——HTLR （Chinese NER method based on Hierarchical Transformer fusing Lexicon and Radical），以通过分层次融合的多元知识来帮助模型学习更丰富、全面的上下文信息和语义信息。首先，通过发布的中文词汇表和词汇向量表识别语料中包含的潜在词汇并把它们向量化，同时通过优化后的位置编码建模词汇和相关字符的语义关系，以学习中文的词汇知识；其次，通过汉典网发布的基于汉字字形的编码将语料转换为相应的编码序列以代表字形信息，并提出RFE-CNN （Radical Feature Extraction-Convolutional Neural Network）模型来提取字形知识；最后，提出Hierarchical Transformer模型，其中由低层模块分别学习字符和词汇以及字符和字形的语义关系，并由高层模块进一步融合字符、词汇、字形等多元知识，从而帮助模型学习语义更丰富的字符表征。在Weibo、Resume、MSRA和OntoNotes4.0公开数据集进行了实验，与主流方法NFLAT （Non-Flat-LAttice Transformer for Chinese named entity recognition）的对比结果表明，所提方法的F1值在4个数据集上分别提升了9.43、0.75、1.76和6.45个百分点，达到最优水平。可见，多元语义知识、层次化融合、RFE-CNN结构和Hierarchical Transformer结构对学习丰富的语义知识及提高模型性能是有效的。

关键词: 命名实体识别, 自然语言处理, 知识图谱构建, 词汇增强, 字形增强

Abstract:

Chinese Named Entity Recognition （NER） tasks aim to extract entities from unstructured text and assign them to predefined entity categories. Aiming at the issue of insufficient semantic learning caused by the lack of contextual information in most Chinese NER methods， an NER framework with hierarchical fusion of multi-knowledge， named HTLR （Chinese NER method based on Hierarchical Transformer fusing Lexicon and Radical）， was proposed to utilize hierarchically fused multi-knowledge to help the model learn richer and more comprehensive contextual and semantic information. Firstly， the lexicon contained in the corpus was identified and vectorized by using a publicly available Chinese lexicon table and word vector table. At the same time， the knowledge about Chinese lexicon was learned by modeling semantic relationships between lexicon and related characters through optimized position encoding. Secondly， the corpus was converted into the corresponding coding sequences to represent the character form information by the coding based on Chinese character radicals provided by Han Dian website， and an RFE-CNN （Radical Feature Extraction-Convolutional Neural Network） model was proposed for extracting radical information. Finally， the Hierarchical Transformer model was proposed， where semantic relationships between characters and lexicon， characters and radical forms in lower-level modules， and multi-knowledge about characters， lexicon， and radical forms were learned at higher-level modules， which helped the model acquire character representations with richer semantics. Experimental results on public datasets Weibo， Resume， MSRA， and OntoNotes4.0 show that the F1 values of the proposed method are improved by 9.43， 0.75， 1.76， and 6.45 percentage points， respectively， compared with those of the mainstream method NFLAT （Non-Flat-LAttice Transformer for Chinese named entity recognition）， reaching the optimal level. It can be seen that multi-semantic knowledge， hierarchical fusion， the RFE-CNN structure， and Hierarchical Transformer structure are effective for learning rich semantic knowledge and improving model performance.

Key words: Named Entity Recognition (NER), Natural Language Processing (NLP), knowledge graph construction, lexicon enhancement, radical enhancement

中图分类号:

TP391.1

吕学强, 王涛, 游新冬, 徐戈. 层次融合多元知识的命名实体识别框架——HTLR[J]. 计算机应用, 2025, 45(1): 40-47.

Xueqiang LYU, Tao WANG, Xindong YOU, Ge XU. HTLR： named entity recognition framework with hierarchical fusion of multi-knowledge[J]. Journal of Computer Applications, 2025, 45(1): 40-47.

图/表 7

参考文献 27

1	CHEN Y， XU L， LIU K， et al. Event extraction via dynamic multi-pooling convolutional neural networks ［C］// Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing （Volume 1： Long Papers）. Stroudsburg： ACL， 2015： 167-176.
2	DIEFENBACH D， LOPEZ V， SINGH K， et al. Core techniques of question answering systems over knowledge bases： a survey［J］. Knowledge And Information Systems， 2018， 55（3）： 529-569.
3	ZHOU Q， YANG N， WEI F， et al. Neural question generation from text： a preliminary study ［C］// Proceedings of the 2017 CCF International Conference on Natural Language Processing and Chinese Computing， LNCS 10619. Cham： Springer， 2018： 662-671.
4	LE P， TITOV I. Improving entity linking by modeling latent relations between mentions ［C］// Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics （Volume 1： Long Papers）. Stroudsburg： ACL， 2018： 1595-1604.
5	HOU F， WANG R， HE J， et al. Improving entity linking through semantic reinforced entity embeddings ［C］// Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg： ACL， 2020： 6843-6848.
6	ZENG G， ZANG C， XIAO B， et al. CRFs-based Chinese named entity recognition with improved tag set ［C］// Proceedings of the 2009 WRI World Congress on Computer Science and Information Engineering. Piscataway： IEEE， 2009： 519-522.
7	雷景生，剌凯俊，杨胜英，等. 基于上下文语义增强的实体关系联合抽取［J］. 计算机应用， 2023， 43（5）： 1438-1444.
	LEI J S， LA K J， YANG S Y， et al. Joint entity and relation extraction based on contextual semantic enhancement［J］. Journal of Computer Applications， 2023， 43（5）： 1438-1444.
8	徐关友，冯伟森. 基于Transformer的Python命名实体识别模型［J］. 计算机应用， 2022， 42（9）： 2693-2700.
	XU G Y， FENG W S. Python named entity recognition model based on Transformer［J］. Journal of Computer Applications， 2022， 42（9）： 2693-2700.
9	HEARST M A， DUMAIS S T， OSUNA E， et al. Support vector machines［J］. IEEE Intelligent Systems， 1998， 13（4）： 18-28.
10	SONG C H， LAWRIE D， FININ T， et al. Improving neural named entity recognition with gazetteers ［C］// Proceedings of the 33rd International FLAIRS Conference. Palo Alto： AAAI Press， 2020： 1-8.
11	JIANG B， WU Z， KARIMI H R. A distributed dynamic event-triggered mechanism to HMM-based observer design for H_∞ sliding mode control of Markov jump systems［J］. Automatica， 2022， 142： No.110357.
12	DONG C， ZHANG J， ZONG C， et al. Character-based LSTM-CRF with radical-level features for Chinese named entity recognition ［C］// Proceedings of the 5th CCF Conference on Natural Language Processing and Chinese Computing Conference and 24th International Conference on Computer Processing of Oriental Languages， LNCS 10102. Cham： Springer， 2016： 239-250.
13	HUANG Z， XU W， YU K. Bidirectional LSTM-CRF models for sequence tagging［EB/OL］. ［2023-07-24］. .
14	WU F， LIU J， WU C， et al. Neural Chinese named entity recognition via CNN-LSTM-CRF and joint training with word segmentation ［C］// Proceedings of the 2019 World Wide Web Conference. New York： ACM， 2019： 3342-3348.
15	ZHANG Y， YANG J. Chinese NER using lattice LSTM ［C］// Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics （Volume 1： Long Papers）. Stroudsburg： ACL， 2018： 1554-1564.
16	DEVLIN J， CHANG M W， LEE K， et al. BERT： pre-training of deep bidirectional Transformers for language understanding ［C］// Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies， Volume 1 （Long and Short Papers）. Stroudsburg： ACL， 2019： 4171-4186.
17	ZHU Y， WANG G. CAN-NER： convolutional attention network for Chinese named entity recognition ［C］// Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies， Volume 1 （Long and Short Papers）. Stroudsburg： ACL， 2019： 3384-3393.
18	GUI T， ZOU Y， ZHANG Q， et al. A lexicon-based graph neural network for Chinese NER ［C］// Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing. Stroudsburg： ACL， 2019： 1040-1050.
19	LI X， YAN H， QIU X， et al. FLAT： Chinese NER using flat-lattice Transformer ［C］// Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg： ACL， 2020： 6836-6842.
20	MA R， PENG M， ZHANG Q， et al. Simplify the usage of lexicon in Chinese NER ［C］// Proceedings of the 58th Annual Meeting of the Association for Computational Linguistic. Stroudsburg： ACL， 2020： 5951-5960.
21	SONG C H， SEHANOBISH A. Using Chinese glyphs for named entity recognition （student abstract）［C］// Proceedings of the 34th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2020： 13921-13922.
22	XUAN Z， BAO R， JIANG S. FGN： fusion glyph network for Chinese named entity recognition ［C］// Proceedings of the 2020 China Conference on Knowledge Graph and Semantic Computing. Singapore： Springer， 2021： 28-40.
23	ZHANG S， QINN Y， WEN J， et al. Word segmentation and named entity recognition ［C］// Proceedings of the 5th SIGHAN Workshop on Chinese Language Processing. Stroudsburg： ACL， 2006： 158-161.
24	PENG N， DREDZE M. Named entity recognition for Chinese social media with jointly trained embeddings ［C］// Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing. Stroudsburg： ACL， 2015： 548-554.
25	WEISCHEDEL R， PALMER M， MARCUS M， et al. OntoNotes release 4.0： LDC2011T03［DS/OL］. ［2023-09-14］..
26	WU S， SONG X， FENG Z， et al. NFLAT： non-flat-lattice Transformer for Chinese named entity recognition ［EB/OL］. ［2023-07-24］..
27	ZHAO S， WANG C， HU M， et al. MCL： multi-granularity contrastive learning framework for Chinese NER ［J］. AAAI Technical Track on Speech & Natural Language Processing， 2023， 37（11）， 14011-14019.

数据集	类型	训练集	验证集	测试集
Resume^［15］	数据	3 800	460	480
Resume^［15］	实体	13 400	1 500	1 630
OntoNotes4.0^［25］	数据	15 700	4 300	4 300
OntoNotes4.0^［25］	实体	13 400	6 950	7 700
Weibo^［24］	数据	1 350	270	270
Weibo^［24］	实体	1 890	390	420
MSRA^［23］	数据	46 360	—	4 300
MSRA^［23］	实体	74 700	—	6 200

数据集	类型	训练集	验证集	测试集
Resume^［15］	数据	3 800	460	480
Resume^［15］	实体	13 400	1 500	1 630
OntoNotes4.0^［25］	数据	15 700	4 300	4 300
OntoNotes4.0^［25］	实体	13 400	6 950	7 700
Weibo^［24］	数据	1 350	270	270
Weibo^［24］	实体	1 890	390	420
MSRA^［23］	数据	46 360	—	4 300
MSRA^［23］	实体	74 700	—	6 200

参数	设置	参数	设置
Batch Size	16	Dropout rate	0.15
Learning rate1	0.000 03	Max len	512
Learning rate2	0.001

参数	设置	参数	设置
Batch Size	16	Dropout rate	0.15
Learning rate1	0.000 03	Max len	512
Learning rate2	0.001

模型	Weibo			Resume			OntoNotes4.0			MSRA
模型	精确率	召回率	F1值	精确率	召回率	F1值	精确率	召回率	F1值	精确率	召回率	F1值
BiLSTM	—	—	56.75	—	—	94.41	—	—	71.81	—	—	91.87
Lattice_LSTM	53.04	62.25	58.79	94.81	94.11	94.46	76.35	71.56	73.88	93.57	92.79	93.18
FLAT	—	—	60.32	—	—	95.45	—	—	76.45	—	—	94.12
BERT	—	—	68.20	—	—	95.53	—	—	80.14	—	—	94.95
GlyNN	—	—	69.20	—	—	95.66	—	—	—	—	—	95.21
SoftLexicon	59.68	62.22	61.42	95.30	95.77	95.53	77.13	75.22	76.16	94.73	93.40	94.06
NFLAT	59.10	63.16	61.94	95.63	95.22	95.58	75.17	79.37	77.21	94.92	94.19	94.55
ChatGPT	—	—	70.10	—	—	95.70	—	—	69.40	—	—	90.10
MCL	—	—	68.17	—	—	95.96	—	—	78.59	—	—	94.40
HTLR	70.82	71.97	71.37	96.22	96.59	96.33	81.62	85.82	83.66	96.28	96.35	96.31

层次融合多元知识的命名实体识别框架——HTLR

HTLR： named entity recognition framework with hierarchical fusion of multi-knowledge

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 7

参考文献 27

相关文章 15

编辑推荐

Metrics

[1]	武杰, 张安思, 吴茂东, 张仪宗, 王从宝. 知识图谱在装备故障诊断领域的研究与应用综述[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2651-2659.
[2]	帅奇, 王海瑞, 朱贵富. 基于双向对比训练的中文故事结尾生成模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2683-2688.
[3]	孙焕良, 王思懿, 刘俊岭, 许景科. 社交媒体数据中水灾事件求助信息提取模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2437-2445.
[4]	张全梅, 黄润萍, 滕飞, 张海波, 周南. 融合异构信息的自动国际疾病分类编码方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2476-2482.
[5]	陆潜慧, 张羽, 王梦灵, 吴庭伟, 单玉忠. 基于改进循环池化网络的核电装备质量文本分类模型[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2034-2040.
[6]	于右任, 张仰森, 蒋玉茹, 黄改娟. 融合多粒度语言知识与层级信息的中文命名实体识别模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1706-1712.
[7]	刘耀, 李雨萌, 宋苗苗. 基于业务流程的认知图谱[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1699-1705.
[8]	高龙涛, 李娜娜. 基于方面感知注意力增强的方面情感三元组抽取[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1049-1057.
[9]	杨先凤, 汤依磊, 李自强. 基于交替注意力机制和图卷积网络的方面级情感分析模型[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1058-1064.
[10]	杨保山, 杨智, 陈性元, 韩冰, 杜学绘. Android应用敏感行为与隐私政策一致性分析[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 788-796.
[11]	董永峰, 白佳明, 王利琴, 王旭. 融合先验知识和字形特征的中文命名实体识别[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 702-708.
[12]	罗歆然, 李天瑞, 贾真. 基于自注意力机制与词汇增强的中文医学命名实体识别[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 385-392.
[13]	黄子麒, 胡建鹏. 实体类别增强的汽车领域嵌套命名实体识别[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 377-384.
[14]	王楷天, 叶青, 程春雷. 基于异构图表示的中医电子病历分类方法[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 411-417.
[15]	姜雨杉, 张仰森. 大语言模型驱动的立场感知事实核查[J]. 《计算机应用》唯一官方网站, 2024, 44(10): 3067-3073.

模型	Weibo			Resume			OntoNotes4.0			MSRA
模型	精确率	召回率	F1值	精确率	召回率	F1值	精确率	召回率	F1值	精确率	召回率	F1值
BERT	—	—	68.20	—	—	95.53	—	—	80.14	—	—	94.95
FLAT+BERT	—	—	68.55	—	—	95.86	—	—	81.82	—	—	96.09
Radical	70.46	71.18	70.81	95.20	96.12	95.66	81.56	84.97	83.21	95.57	95.60	95.58
Mix_Attention	70.28	70.44	70.34	94.80	94.96	95.48	81.95	84.04	82.97	95.39	95.49	95.44
Wubi	70.66	71.58	71.11	94.79	96.40	95.63	81.59	85.50	83.50	96.12	95.60	95.85
Zhengma	71.29	70.93	71.09	95.37	96.07	95.72	82.22	84.82	83.48	95.64	95.74	95.69
RFE-CNN	70.68	71.02	70.80	95.08	96.15	95.61	81.31	85.28	83.23	95.74	95.43	95.58
HTLR	70.82	71.97	71.37	96.22	96.59	96.33	81.62	85.82	83.66	96.28	96.35	96.31

模型	Weibo			Resume			OntoNotes4.0			MSRA
模型	精确率	召回率	F1值	精确率	召回率	F1值	精确率	召回率	F1值	精确率	召回率	F1值
BERT	—	—	68.20	—	—	95.53	—	—	80.14	—	—	94.95
FLAT+BERT	—	—	68.55	—	—	95.86	—	—	81.82	—	—	96.09
Radical	70.46	71.18	70.81	95.20	96.12	95.66	81.56	84.97	83.21	95.57	95.60	95.58
Mix_Attention	70.28	70.44	70.34	94.80	94.96	95.48	81.95	84.04	82.97	95.39	95.49	95.44
Wubi	70.66	71.58	71.11	94.79	96.40	95.63	81.59	85.50	83.50	96.12	95.60	95.85
Zhengma	71.29	70.93	71.09	95.37	96.07	95.72	82.22	84.82	83.48	95.64	95.74	95.69
RFE-CNN	70.68	71.02	70.80	95.08	96.15	95.61	81.31	85.28	83.23	95.74	95.43	95.58
HTLR	70.82	71.97	71.37	96.22	96.59	96.33	81.62	85.82	83.66	96.28	96.35	96.31