基于相互学习和SoftLexicon的中文命名实体识别模型

doi:10.11772/j.issn.1001-9081.2022060921

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (S1): 61-66.DOI: 10.11772/j.issn.1001-9081.2022060921

基于相互学习和SoftLexicon的中文命名实体识别模型

陈田¹, 黄泓毓²(), 杨东升², 董淑婷²

^1.中国航空工业集团公司成都飞机设计研究所，成都 610091
^2.电子科技大学信息与软件工程学院，成都 610054

收稿日期:2022-06-24 修回日期:2022-10-11 接受日期:2022-10-17 发布日期:2023-07-04 出版日期:2023-06-30
通讯作者: 黄泓毓
作者简介:陈田（1984—），男，湖北武汉人，高级工程师，硕士，主要研究方向：航电系统、人机交互
黄泓毓（1998—），女，四川自贡人，硕士，主要研究方向：知识图谱、自然语言处理。hyhuang@std.uestc.edu.cn
杨东升（1996—），男，重庆人，硕士研究生，主要研究方向：知识图谱、自然语言处理
董淑婷（1998—），女，安徽芜湖人，硕士研究生，主要研究方向：数字人、动画驱动。
基金资助:
四川省科技服务业示范项目(2020GFW068);四川省科技成果转移转化示范项目(2021ZHCG0007)

Chinese named entity recognition model based on mutual learning and SoftLexicon

Tian CHEN¹, Hongyu HUANG²(), Dongsheng YANG², Shuting DONG²

^1.Chengdu Aircraft Design Research Institute，Aviation Industry Corporation of China，Chengdu Sichuan 610091，China
^2.School of Information and Software Engineering，University of Electronic Science and Technology of China，Chengdu Sichuan 610054，China

Received:2022-06-24 Revised:2022-10-11 Accepted:2022-10-17 Online:2023-07-04 Published:2023-06-30
Contact: Hongyu HUANG

摘要/Abstract

摘要：

中文自然语言文本中实体边界区分难、语法复杂度大，中文命名实体识别（NER）难度往往比英文命名实体识别大。针对中文NER中分词误差传播的问题，提出一种基于相互学习和SoftLexicon的中文命名实体识别模型MM-SLLattice。首先，向字级别表示的句子中加入词信息的模型；然后，在词信息的引入过程中通过结合开放词典与领域词典信息来提高模型的精度；最后，在训练过程中，引入了深度相互学习减小泛化误差提高模型的性能。实验结果表明，该模型在不同类型的中文数据集的实体识别能力有提升，MM-SLLattice在MSRA数据集上F1值为94.09%，比独立网络提高了0.41个百分点，对比实验中F1值也优于其他主流模型协同图形网络（CGN）、卷积注意力网络（CAN）、LR-CNN。所提模型可以更精确地提取中文实体。

关键词: 知识图谱, 命名实体识别, SoftLexicon, 双向长短期记忆, 自注意力

Abstract:

The difficulty of entity boundary differentiation and syntactic complexity in Chinese natural language text are often greater than those of English named entity recognition. Aiming at the problem of word segmentation error propagation in Chinese Named Entity Recognition （NER）， a Chinese named entity recognition model based on mutual learning and SoftLexicon， MM-SLLattice （SoftLexicon Lattice with Deep Multi-Mutual Learning Network）， was proposed. Firstly， word information was added into sentences represented at character level. Then， the accuracy of the model was improved by combining open dictionary and domain dictionary information during the introduction of word information. Finally， deep mutual learning was introduced to reduce the generalization error during the training process to improve the performance of the model. The experimental results show that the model has improved entity recognition ability in different types of Chinese datasets， and the F1 value of MM-SLLattice on MSRA dataset is 94.09%， 0.41 percentage points better than that of the isolated network. The F1 value in comparison experiments is also better than those of other mainstream models Collaborative Graph Network（CGN）， Convolutional Attention Network（CAN）， and LR-CNN（Lexicon Rethinking Convolutional Neural Network）. The proposed model can more accurately extract Chinese entities.

Key words: knowledge graph, Named Entity Recognition (NER), SoftLexicon, Bi-directional Long Short-Term Memory(BiLSTM), self-attention

中图分类号:

TP391.1

陈田, 黄泓毓, 杨东升, 董淑婷. 基于相互学习和SoftLexicon的中文命名实体识别模型[J]. 计算机应用, 2023, 43(S1): 61-66.

Tian CHEN, Hongyu HUANG, Dongsheng YANG, Shuting DONG. Chinese named entity recognition model based on mutual learning and SoftLexicon[J]. Journal of Computer Applications, 2023, 43(S1): 61-66.

图/表 10

参考文献 17

1	田玲，张谨川，张晋豪，等.知识图谱综述——表示，构建，推理与知识超图理论［J］.计算机应用， 2021， 41（8）： 2161-2186.
2	LI J， SUN A， HAN J， et al. A survey on deep learning for named entity recognition ［J］. IEEE Transactions on Knowledge and Data Engineering， 2020， 34（1）： 50-70.
3	LI J， FEI H， LIU J， et al. Unified named entity recognition as word-word relation classification ［C］// Proceedings of the 2022 AAAI Conference on Artificial Intelligence， Palo Alto： AAAI Press， 2022： 10965-10973. 10.1609/aaai.v36i10.21344
4	SHANG Y-M， HUANG H， MAO X. OneRel： joint entity and relation extraction with one module in one step ［C］// Proceedings of the 2022 AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2022： 11285-11293. 10.1609/aaai.v36i10.21379
5	ZHANG Y， YANG J. Chinese NER using Lattice LSTM ［C］// Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics （Volume 1： Long Papers）. Stroudsburg， PA： Association for Computational Linguistics， 2018： 1554-1564. 10.18653/v1/p18-1144
6	GUI T， MA R， ZHANG Q， et al. CNN-based Chinese NER with lexicon rethinking ［C］// Proceedings of the 28th International Joint Conference on Artificial Intelligence. Macao： International Joint Conferences on Artificial Intelligence， 2019： 4982-4988. 10.24963/ijcai.2019/692
7	SUI D， CHEN Y， LIU K， et al. Leverage lexical knowledge for Chinese named entity recognition via collaborative graph network ［C］// Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2019： 3830-3840. 10.18653/v1/d19-1396
8	LIU W， XU T， XU Q， et al. An encoding strategy based word-character LSTM for Chinese NER ［C］// Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies （Volume 1： Long and Short Papers）. Stroudsburg， PA： Association for Computational Linguistics， 2019： 2379-2389. 10.18653/v1/n18-2
9	PENG M， MA R， ZHANG Q， et al. Simplify the usage of lexicon in Chinese NER ［C］// Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2020： 5951-5960. 10.18653/v1/2020.acl-main.528
10	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need ［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. New York： ACM， 2017：6000-6010.
11	ZHANG Y， XIANG T， HOSPEDALES T M， et al. Deep mutual learning ［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 4320-4328. 10.1109/cvpr.2018.00454
12	ZHU Y， WANG G， KARLSSON B F. CAN-NER： convolutional attention network for Chinese named entity recognition ［C］// Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies （Volume 1： Long and Short Papers）. Stroudsburg， PA： Association for Computational Linguistics， 2019： 3384-3393. 10.18653/v1/N19-1342
13	KIPF T N， WELLING M. Semi-supervised classification with graph convolutional networks ［EB/OL］. （2017-02-22）［2022-10-10］. . 10.48550/arXiv.1609.02907
14	PENG N， DREDZE M. Named entity recognition for Chinese social media with jointly trained embeddings ［C］// Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2015： 548-554. 10.18653/v1/d15-1064
15	XU B， XU Y， LIANG J， et al. CN-DBpedia： a never-ending Chinese knowledge extraction system ［C］// Proceedings of the 2017 International Conference on Industrial， Engineering and Other Applications of Applied Intelligent Systems. Cham： Springer， 2017： 428-438. 10.1007/978-3-319-60045-1_44
16	ZHAO S， CAI Z， CHEN H， et al. Adversarial training based lattice LSTM for Chinese clinical named entity recognition ［J］. Journal of Biomedical Informatics， 2019， 99： No.103290. 10.1016/j.jbi.2019.103290
17	付雷杰，曹岩，白瑀，等. 国内垂直领域知识图谱发展现状与展望［J］.计算机应用研究， 2021， 38（11）： 3201-3214. 10.7551/mitpress/2273.003.0013

数据集名称	实体数量	类型	训练集/10³	验证集/10³	测试集/10³
MSRA	3	Sentence	3.8	0.46	0.48
MSRA	3	Char	124.1	13.90	15.10
Resume	8	Sentence	46.4	/	4.40
Resume	8	Char	2 169.9	/	172.60

数据集名称	实体数量	类型	训练集/10³	验证集/10³	测试集/10³
MSRA	3	Sentence	3.8	0.46	0.48
MSRA	3	Char	124.1	13.90	15.10
Resume	8	Sentence	46.4	/	4.40
Resume	8	Char	2 169.9	/	172.60

模型	P	R	F1
Lattice-LSTM	93.57	92.79	93.18
CAN	93.53	92.42	92.97
LR-CNN	94.50	92.93	93.71
CGN	94.01	92.93	93.47
SoftLexicon（LSTM）	94.63	92.70	93.66
MM-SLLattice	94.74	93.45	94.09

模型	P	R	F1
Lattice-LSTM	93.57	92.79	93.18
CAN	93.53	92.42	92.97
LR-CNN	94.50	92.93	93.71
CGN	94.01	92.93	93.47
SoftLexicon（LSTM）	94.63	92.70	93.66
MM-SLLattice	94.74	93.45	94.09

模型	P	R	F1
Lattice-LSTM	94.81	94.11	94.46
CAN	95.05	94.82	94.94
LR-CNN	95.37	94.84	95.11
CGN	95.45	93.90	94.67
SoftLexicon（LSTM）	95.30	95.77	95.53
MM-SLLattice	95.43	95.83	95.63

基于相互学习和SoftLexicon的中文命名实体识别模型

Chinese named entity recognition model based on mutual learning and SoftLexicon

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 17

相关文章 15

编辑推荐

Metrics

网络模型	MSRA	Resume
无双向长短期记忆	94.02	95.48
无多头自注意力	93.82	95.37
无相互学习	93.69	95.34
MM-SLLattice	94.09	95.63

策略	网络模型	MSRA	Resume
独立网络	SLLattice	93.68	95.54
相互学习	MM-SLLattice（k=2）	93.90	95.59
	MM-SLLattice（k=4）	94.06	95.60
	MM-SLLattice（k=8）	94.09	95.63

[1]	赵帅斌, 林旭东, 翁晓健. 基于经验模态分解与投资者情绪的Attention-BiLSTM股价趋势预测模型[J]. 《计算机应用》唯一官方网站, 2023, 43(S1): 112-118.
[2]	钟侠骄, 张绍兵, 郭静, 王胜朝, 成苗, 何莲, 赵铱民. 基于RandLA-Net的3D点云牙颌分割与身份识别[J]. 《计算机应用》唯一官方网站, 2023, 43(S1): 269-275.
[3]	倪铭远, 邓宏涛, 高望. 基于图卷积神经网络的虚假新闻检测[J]. 《计算机应用》唯一官方网站, 2023, 43(S1): 49-55.
[4]	徐宛扬, 李文根, 关佶红. 面向金融网页数据的异构表格信息提取模型[J]. 《计算机应用》唯一官方网站, 2023, 43(S1): 56-60.
[5]	孙男男, 朴春慧, 马新娜. 基于社交关系和时序信息的团购推荐方法[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1719-1729.
[6]	张奕, 王真梅. 图自动编码器上二阶段融合实现的环状RNA-疾病关联预测[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1979-1986.
[7]	雷景生, 剌凯俊, 杨胜英, 吴怡. 基于上下文语义增强的实体关系联合抽取[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1438-1444.
[8]	侯志荣, 范晓东, 张华, 马晓楠. J-SGPGN：基于序列与图的联合学习复述生成网络[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1365-1371.
[9]	孙浩, 曹健, 李海生, 毛典辉. 基于改进胶囊网络的会话型推荐模型[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1043-1049.
[10]	陈志, 李歆, 林丽燕, 钟婧, 时鹏. 引入门控轴向自注意力的多通道病理图像分割[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1269-1277.
[11]	徐周波, 陈浦青, 刘华东, 杨欣. 基于自注意力网络的深度图匹配模型[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1005-1012.
[12]	姚英茂, 姜晓燕. 基于图卷积网络与自注意力图池化的视频行人重识别方法[J]. 《计算机应用》唯一官方网站, 2023, 43(3): 728-735.
[13]	刘月峰, 张小燕, 郭威, 边浩东, 何滢婕. 基于优化混合模型的航空发动机剩余寿命预测方法[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2960-2968.
[14]	侯旭东, 滕飞, 张艺. 基于深度自编码的医疗命名实体识别模型[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2686-2692.
[15]	徐关友, 冯伟森. 基于transformer的python命名实体识别模型[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2693-2700.