基于Transformer和关键词信息聚合的电力科研成果命名实体识别

doi:10.11772/j.issn.1001-9081.2024030311

《计算机应用》唯一官方网站 ›› 0, Vol. ›› Issue (): 66-71.DOI: 10.11772/j.issn.1001-9081.2024030311

基于Transformer和关键词信息聚合的电力科研成果命名实体识别

徐晓轶(), 毛艳芳, 吕晓祥

国网江苏省电力有限公司南通供电分公司，江苏南通 226300

收稿日期:2024-03-25 修回日期:2024-05-27 接受日期:2024-06-04 发布日期:2025-01-24 出版日期:2024-12-31
通讯作者: 徐晓轶
作者简介:徐晓轶（1984—），男，江苏南通人，高级工程师，硕士，主要研究方向：电气工程
毛艳芳（1989—），女，湖北孝感人，高级工程师，硕士，主要研究方向：电气工程
吕晓祥（1989—），男，江苏南通人，高级工程师，硕士，主要研究方向：电气工程。
基金资助:
国网江苏省电力有限公司科技项目(J2023051)

Named entity recognition of electric power research results based on Transformer and keyword information aggregation

Xiaozhi XU(), Yanfang MAO, Xiaoxiang LYU

Nantong Power Supply Branch，State Grid Jiangsu Electric Power Company Limited，Nantong Jiangsu 226300，China

Received:2024-03-25 Revised:2024-05-27 Accepted:2024-06-04 Online:2025-01-24 Published:2024-12-31
Contact: Xiaozhi XU

摘要/Abstract

摘要：

在电力领域科研活动中产生的科研成果，如论文与专利，蕴含丰富的信息，然而对于电力文本的命名实体识别（NER）研究较少。因此，构建了一个能够有效识别中文电力文本中命名实体的模型，并验证了它的性能和有效性。首先，爬取电力文献关键词后对它们进行预处理和整理，并构建电力领域的命名实体词库；其次，结合分词技术，对获取的电力领域文献摘要进行命名实体标注，并生成电力领域的命名实体标注语料数据。为了增强模型的表示能力和语义理解能力，在BiLSTM-CRF模型中引入了Transformer编码器机制。为了提升模型在电力垂直领域的适应性，构建了电力科研关键词与字之间的知识图谱，并基于该图谱得到了融合邻居信息的每个字的邻域矩阵，之后得到了融合关键词与字的知识图谱实体的邻居信息向量。通过构建双分支的词嵌入向量输入层，能够获得包含上下文信息和综合关键词邻居信息的词嵌入向量。实验结果表明，所提模型在电力领域表现出良好的识别效果。

关键词: 知识抽取, 电力工程, Transformer, 多头注意力机制, 命名实体识别

Abstract:

The scientific research achievements generated in the field of electricity， such as papers and patents， contain rich information. However， the research on Named Entity Recognition （NER） of electric power text is insufficient. Therefore， a model that can recognize named entities in Chinese electric power text effectively was constructed， and its performance and effectiveness were verified. Firstly， the keywords of electric power literature were crawled for preprocessing and arranging， and a thesaurus of named entities in the electric power field was constructed. Secondly， combining with word segmentation technology， the acquired literature abstracts in the field of electric power were labeled with named entities， and the corpus data of named entity labeling in the field of electric power was generated. In order to improve the representation ability and semantic understanding ability of the model， Transformer encoder mechanism was introduced in BiLSTM-CRF model. In order to improve the adaptability of the model in the electric power vertical field， the knowledge graph between electric power research keywords and words was constructed， and the neighbor matrix of each word fusing the neighbor information was obtained based on this graph. After that， the neighbor information vectors fusing keyword and word knowledge graph entities were obtained. By constructing a dual-branch word embedding vector input layer， it was possible to obtain word embedding vectors containing contextual information and comprehensive keyword neighbor information. Experimental results show that the proposed model has good recognition effect in the electric power domain.

Key words: knowledge extraction, electrical engineering, Transformer, multi-head attention mechanism, Named Entity Recognition (NER)

中图分类号:

TP391.1

徐晓轶, 毛艳芳, 吕晓祥. 基于Transformer和关键词信息聚合的电力科研成果命名实体识别[J]. 计算机应用, 0, (): 66-71.

Xiaozhi XU, Yanfang MAO, Xiaoxiang LYU. Named entity recognition of electric power research results based on Transformer and keyword information aggregation[J]. Journal of Computer Applications, 0, (): 66-71.

图/表 10

参考文献 24

1	张汝佳，代璐，王邦，等. 基于深度学习的中文命名实体识别最新研究进展综述［J］. 中文信息学报， 2022， 36（6）： 20-35.
2	SARI Y， HASSAN M F， ZAMIN N. Rule-based pattern extractor and named entity recognition： a hybrid approach ［C］// Proceedings of the 2010 International Symposium on Information Technology. Piscataway： IEEE， 2010： 563-568.
3	CHANDEL A， NAGESH P C， SARAWAGI S. Efficient batch top-k search for dictionary-based entity recognition ［C］// Proceedings of the 22nd International Conference on Data Engineering. Piscataway： IEEE， 2006： 28.
4	EKBAL A， BANDYOPADHYAY S. Named entity recognition using support vector machine： a language independent approach ［J］. International Journal of Electrical and Computer Engineering， 2010， 4（3）： 589-604.
5	MORWAL S， JAHAN N， CHOPRA D. Named entity recognition using Hidden Markov Model （HMM）［J］. International Journal on Natural Language Computing， 2012， 1（4）： 15-23.
6	McCALLUM A， LI W. Early results for named entity recognition with conditional random fields， feature induction and Web-enhanced lexicons LR-CNN ［C］// Proceedings of the 7th Conference on Natural Language Learning at HLT-NAACL. Stroudsburg： ACL， 2003： 188-191.
7	高翔，王石，朱俊武，等. 命名实体识别任务综述［J］. 计算机科学， 2023， 50（6A）： No.220200119.
8	HAMMERTON J. Named entity recognition with long short-term memory［C］// Proceedings of the 7th Conference on Natural Language Learning at HLT-NAACL 2003. Stroudsburg： ACL， 2003： 172-175.
9	LAMPLE G， BALLESTEROS M， SUBRAMANIAN S， et al. Neural architectures for named entity recognition ［C］// Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg， PA： ACL， 2016： 260-270.
10	罗凌，杨志豪，宋雅文，等. 基于笔画ELMo和多任务学习的中文电子病历命名实体识别研究［J］. 计算机学报， 2020， 43（10）： 1943-1957.
11	DEVLIN J， CHANG M W， LEE K， et al. BERT： pre-training of deep bidirectional transformers for language understanding ［C］// Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies， Volume 1 （Long and Short Papers）. Stroudsburg： ACL， 2019： 4171-4186.
12	李峰，王琼洁，韦二龙，等. 基于BERT的遥感应用领域知识图谱自动构建技术［J］. 中国电子科学研究院学报， 2021， 6（7）： 645-653.
13	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need ［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2017： 6000-6010.
14	YAN S， CHAI J， WU L. Bidirectional GRU with multi-head attention for Chinese NER ［C］// Proceedings of the IEEE 5th Information Technology and Mechatronics Engineering Conference. Piscataway： IEEE， 2020： 1160-1164.
15	曹现刚，吴可昕，张梦园，等. 基于BERT的煤矿装备维护知识命名实体识别研究［J］. 机床与液压， 2023， 51（9）： 103-108.
16	罗熹，夏先运，安莹，等. 结合多头自注意力机制与BiLSTM-CRF的中文临床实体识别［J］. 湖南大学学报（自然科学版）， 2021， 48（4）： 45-55.
17	蒋晨，王渊，胡俊华. 基于深度学习的电力实体信息识别方法［J］. 电网技术， 2021， 45（6）： 2141-2149.
18	顾亦然，霍建霖，杨海根，等. 基于BERT的电机领域中文命名实体识别方法［J］. 计算机工程， 2021， 47（8）： 78-83.
19	丁禹，尚学伟，米为民. 基于深度学习的电网调控文本知识抽取方法［J］. 电力系统自动化， 2020， 44（24）： 161-168.
20	国网江苏省电力有限公司南通供电分公司. Transformer与多头注意力机制的电力领域科研成果实体识别方法： 202410141223.3［P］. 2024-05-03.
21	ZHU W， CHEUNG D. Lex-BERT： enhancing BERT based NER with lexicons ［EB/OL］. ［2023-12-10］.， pdf.
22	LI J， FEI H， LIU J， et al. Unified named entity recognition as word-word relation classification ［C］// Proceedings of the 36th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2022： 10965-10973.
23	肖勇，郑楷洪，王鑫，等. 基于联合神经网络学习的中文电力计量命名实体识别［J］. 浙江大学学报（理学版）， 2021， 48（3）： 321-330.
24	WANG H， ZHAO M， XIE X， et al. Knowledge graph convolutional networks for recommender systems ［C］// Proceedings of the 2019 World Wide Web Conference. New York： ACM， 2019： 3307-3313.

类型	超参数与结构参数	取值
基本超参数	BatchSize	20
	Dropout	0.1
	学习率	5×10^-4
	Epoch	30
	优化器	Adam
输入特征层	Embedding输出的字向量维度	128
	Transformer编码器输出维度	128
	邻居实体感受野	4
	KGW模型输出维度	128
特征提取层	BiLSTM层隐藏层维度	2×256
预测输出层	Classifier全连接层维度	2×256
预测输出层	CRF的输入层	3

类型	超参数与结构参数	取值
基本超参数	BatchSize	20
	Dropout	0.1
	学习率	5×10^-4
	Epoch	30
	优化器	Adam
输入特征层	Embedding输出的字向量维度	128
	Transformer编码器输出维度	128
	邻居实体感受野	4
	KGW模型输出维度	128
特征提取层	BiLSTM层隐藏层维度	2×256
预测输出层	Classifier全连接层维度	2×256
预测输出层	CRF的输入层	3

模型	P	R	F1
BiLSTM-CRF	0.897 7	0.866 7	0.881 9
Lex-BERT-CRF	0.886 0	0.873 5	0.879 6
W2NER	0.882 6	0.874 3	0.878 4
文献［14］模型	0.862 6	0.854 3	0.858 5
本文模型	0.906 1	0.906 6	0.906 3

模型	P	R	F1
BiLSTM-CRF	0.897 7	0.866 7	0.881 9
Lex-BERT-CRF	0.886 0	0.873 5	0.879 6
W2NER	0.882 6	0.874 3	0.878 4
文献［14］模型	0.862 6	0.854 3	0.858 5
本文模型	0.906 1	0.906 6	0.906 3

模型	P	R	F1
BiLSTM-CRF	0.897 7	0.866 7	0.881 9
BiLSTM-KGW-CRF	0.901 8	0.887 6	0.894 7
Trans-BiLSTM-CRF	0.897 0	0.897 4	0.897 2
Trans+KGW-BiLSTM-CRF	0.906 1	0.906 6	0.906 3

基于Transformer和关键词信息聚合的电力科研成果命名实体识别

Named entity recognition of electric power research results based on Transformer and keyword information aggregation

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 24

相关文章 15

编辑推荐

Metrics

[1]	袁宝华, 陈佳璐, 王欢. 融合多尺度语义和双分支并行的医学图像分割网络[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 988-995.
[2]	杨燕, 叶枫, 许栋, 张雪洁, 徐津. 融合大语言模型和提示学习的数字孪生水利知识图谱构建[J]. 《计算机应用》唯一官方网站, 2025, 45(3): 785-793.
[3]	王雅伦, 张仰森, 朱思文. 面向知识推理的位置编码标题生成模型[J]. 《计算机应用》唯一官方网站, 2025, 45(2): 345-353.
[4]	吕学强, 王涛, 游新冬, 徐戈. 层次融合多元知识的命名实体识别框架——HTLR[J]. 《计算机应用》唯一官方网站, 2025, 45(1): 40-47.
[5]	梁杰涛, 罗兵, 付兰慧, 常青玲, 李楠楠, 易宁波, 冯其, 何鑫, 邓辅秦. 基于坐标几何采样的点云配准方法[J]. 《计算机应用》唯一官方网站, 2025, 45(1): 214-222.
[6]	黄云川, 江永全, 黄骏涛, 杨燕. 基于元图同构网络的分子毒性预测[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2964-2969.
[7]	杨鑫, 陈雪妮, 吴春江, 周世杰. 结合变种残差模型和Transformer的城市公路短时交通流预测[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2947-2951.
[8]	李金金, 桑国明, 张益嘉. APK-CNN和Transformer增强的多域虚假新闻检测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2674-2682.
[9]	贾洁茹, 杨建超, 张硕蕊, 闫涛, 陈斌. 基于自蒸馏视觉Transformer的无监督行人重识别[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2893-2902.
[10]	武杰, 张安思, 吴茂东, 张仪宗, 王从宝. 知识图谱在装备故障诊断领域的研究与应用综述[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2651-2659.
[11]	方介泼, 陶重犇. 应对零日攻击的混合车联网入侵检测系统[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2763-2769.
[12]	任烈弘, 黄铝文, 田旭, 段飞. 基于DFT的频率敏感双分支Transformer多变量长时间序列预测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2739-2746.
[13]	孙焕良, 王思懿, 刘俊岭, 许景科. 社交媒体数据中水灾事件求助信息提取模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2437-2445.
[14]	高鹏淇, 黄鹤鸣, 樊永红. 融合坐标与多头注意力机制的交互语音情感识别[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2400-2406.
[15]	丁宇伟, 石洪波, 李杰, 梁敏. 基于局部和全局特征解耦的图像去噪网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2571-2579.