基于Transformer和关键词信息聚合的电力科研成果命名实体识别

doi:10.11772/j.issn.1001-9081.2024030311

《计算机应用》唯一官方网站 ›› 0, Vol. ›› Issue (): 66-71.DOI: 10.11772/j.issn.1001-9081.2024030311

基于Transformer和关键词信息聚合的电力科研成果命名实体识别

徐晓轶(), 毛艳芳, 吕晓祥

国网江苏省电力有限公司南通供电分公司，江苏南通 226300

收稿日期:2024-03-25 修回日期:2024-05-27 接受日期:2024-06-04 发布日期:2025-01-24 出版日期:2024-12-31
通讯作者: 徐晓轶
作者简介:徐晓轶（1984—），男，江苏南通人，高级工程师，硕士，主要研究方向：电气工程
毛艳芳（1989—），女，湖北孝感人，高级工程师，硕士，主要研究方向：电气工程
吕晓祥（1989—），男，江苏南通人，高级工程师，硕士，主要研究方向：电气工程。
基金资助:
国网江苏省电力有限公司科技项目(J2023051)

Named entity recognition of electric power research results based on Transformer and keyword information aggregation

Xiaozhi XU(), Yanfang MAO, Xiaoxiang LYU

Nantong Power Supply Branch，State Grid Jiangsu Electric Power Company Limited，Nantong Jiangsu 226300，China

Received:2024-03-25 Revised:2024-05-27 Accepted:2024-06-04 Online:2025-01-24 Published:2024-12-31
Contact: Xiaozhi XU

摘要/Abstract

摘要：

在电力领域科研活动中产生的科研成果，如论文与专利，蕴含丰富的信息，然而对于电力文本的命名实体识别（NER）研究较少。因此，构建了一个能够有效识别中文电力文本中命名实体的模型，并验证了它的性能和有效性。首先，爬取电力文献关键词后对它们进行预处理和整理，并构建电力领域的命名实体词库；其次，结合分词技术，对获取的电力领域文献摘要进行命名实体标注，并生成电力领域的命名实体标注语料数据。为了增强模型的表示能力和语义理解能力，在BiLSTM-CRF模型中引入了Transformer编码器机制。为了提升模型在电力垂直领域的适应性，构建了电力科研关键词与字之间的知识图谱，并基于该图谱得到了融合邻居信息的每个字的邻域矩阵，之后得到了融合关键词与字的知识图谱实体的邻居信息向量。通过构建双分支的词嵌入向量输入层，能够获得包含上下文信息和综合关键词邻居信息的词嵌入向量。实验结果表明，所提模型在电力领域表现出良好的识别效果。

关键词: 知识抽取, 电力工程, Transformer, 多头注意力机制, 命名实体识别

Abstract:

The scientific research achievements generated in the field of electricity， such as papers and patents， contain rich information. However， the research on Named Entity Recognition （NER） of electric power text is insufficient. Therefore， a model that can recognize named entities in Chinese electric power text effectively was constructed， and its performance and effectiveness were verified. Firstly， the keywords of electric power literature were crawled for preprocessing and arranging， and a thesaurus of named entities in the electric power field was constructed. Secondly， combining with word segmentation technology， the acquired literature abstracts in the field of electric power were labeled with named entities， and the corpus data of named entity labeling in the field of electric power was generated. In order to improve the representation ability and semantic understanding ability of the model， Transformer encoder mechanism was introduced in BiLSTM-CRF model. In order to improve the adaptability of the model in the electric power vertical field， the knowledge graph between electric power research keywords and words was constructed， and the neighbor matrix of each word fusing the neighbor information was obtained based on this graph. After that， the neighbor information vectors fusing keyword and word knowledge graph entities were obtained. By constructing a dual-branch word embedding vector input layer， it was possible to obtain word embedding vectors containing contextual information and comprehensive keyword neighbor information. Experimental results show that the proposed model has good recognition effect in the electric power domain.

Key words: knowledge extraction, electrical engineering, Transformer, multi-head attention mechanism, Named Entity Recognition (NER)

中图分类号:

TP391.1

徐晓轶, 毛艳芳, 吕晓祥. 基于Transformer和关键词信息聚合的电力科研成果命名实体识别[J]. 计算机应用, 0, (): 66-71.

Xiaozhi XU, Yanfang MAO, Xiaoxiang LYU. Named entity recognition of electric power research results based on Transformer and keyword information aggregation[J]. Journal of Computer Applications, 0, (): 66-71.

图/表 10

参考文献 24

1	张汝佳，代璐，王邦，等. 基于深度学习的中文命名实体识别最新研究进展综述［J］. 中文信息学报， 2022， 36（6）： 20-35.
2	SARI Y， HASSAN M F， ZAMIN N. Rule-based pattern extractor and named entity recognition： a hybrid approach ［C］// Proceedings of the 2010 International Symposium on Information Technology. Piscataway： IEEE， 2010： 563-568.
3	CHANDEL A， NAGESH P C， SARAWAGI S. Efficient batch top-k search for dictionary-based entity recognition ［C］// Proceedings of the 22nd International Conference on Data Engineering. Piscataway： IEEE， 2006： 28.
4	EKBAL A， BANDYOPADHYAY S. Named entity recognition using support vector machine： a language independent approach ［J］. International Journal of Electrical and Computer Engineering， 2010， 4（3）： 589-604.
5	MORWAL S， JAHAN N， CHOPRA D. Named entity recognition using Hidden Markov Model （HMM）［J］. International Journal on Natural Language Computing， 2012， 1（4）： 15-23.
6	McCALLUM A， LI W. Early results for named entity recognition with conditional random fields， feature induction and Web-enhanced lexicons LR-CNN ［C］// Proceedings of the 7th Conference on Natural Language Learning at HLT-NAACL. Stroudsburg： ACL， 2003： 188-191.
7	高翔，王石，朱俊武，等. 命名实体识别任务综述［J］. 计算机科学， 2023， 50（6A）： No.220200119.
8	HAMMERTON J. Named entity recognition with long short-term memory［C］// Proceedings of the 7th Conference on Natural Language Learning at HLT-NAACL 2003. Stroudsburg： ACL， 2003： 172-175.
9	LAMPLE G， BALLESTEROS M， SUBRAMANIAN S， et al. Neural architectures for named entity recognition ［C］// Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg， PA： ACL， 2016： 260-270.
10	罗凌，杨志豪，宋雅文，等. 基于笔画ELMo和多任务学习的中文电子病历命名实体识别研究［J］. 计算机学报， 2020， 43（10）： 1943-1957.
11	DEVLIN J， CHANG M W， LEE K， et al. BERT： pre-training of deep bidirectional transformers for language understanding ［C］// Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies， Volume 1 （Long and Short Papers）. Stroudsburg： ACL， 2019： 4171-4186.
12	李峰，王琼洁，韦二龙，等. 基于BERT的遥感应用领域知识图谱自动构建技术［J］. 中国电子科学研究院学报， 2021， 6（7）： 645-653.
13	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need ［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2017： 6000-6010.
14	YAN S， CHAI J， WU L. Bidirectional GRU with multi-head attention for Chinese NER ［C］// Proceedings of the IEEE 5th Information Technology and Mechatronics Engineering Conference. Piscataway： IEEE， 2020： 1160-1164.
15	曹现刚，吴可昕，张梦园，等. 基于BERT的煤矿装备维护知识命名实体识别研究［J］. 机床与液压， 2023， 51（9）： 103-108.
16	罗熹，夏先运，安莹，等. 结合多头自注意力机制与BiLSTM-CRF的中文临床实体识别［J］. 湖南大学学报（自然科学版）， 2021， 48（4）： 45-55.
17	蒋晨，王渊，胡俊华. 基于深度学习的电力实体信息识别方法［J］. 电网技术， 2021， 45（6）： 2141-2149.
18	顾亦然，霍建霖，杨海根，等. 基于BERT的电机领域中文命名实体识别方法［J］. 计算机工程， 2021， 47（8）： 78-83.
19	丁禹，尚学伟，米为民. 基于深度学习的电网调控文本知识抽取方法［J］. 电力系统自动化， 2020， 44（24）： 161-168.
20	国网江苏省电力有限公司南通供电分公司. Transformer与多头注意力机制的电力领域科研成果实体识别方法： 202410141223.3［P］. 2024-05-03.
21	ZHU W， CHEUNG D. Lex-BERT： enhancing BERT based NER with lexicons ［EB/OL］. ［2023-12-10］.， pdf.
22	LI J， FEI H， LIU J， et al. Unified named entity recognition as word-word relation classification ［C］// Proceedings of the 36th AAAI Conference on Artificial Intelligence. Palo Alto： AAAI Press， 2022： 10965-10973.
23	肖勇，郑楷洪，王鑫，等. 基于联合神经网络学习的中文电力计量命名实体识别［J］. 浙江大学学报（理学版）， 2021， 48（3）： 321-330.
24	WANG H， ZHAO M， XIE X， et al. Knowledge graph convolutional networks for recommender systems ［C］// Proceedings of the 2019 World Wide Web Conference. New York： ACM， 2019： 3307-3313.

类型	超参数与结构参数	取值
基本超参数	BatchSize	20
	Dropout	0.1
	学习率	5×10^-4
	Epoch	30
	优化器	Adam
输入特征层	Embedding输出的字向量维度	128
	Transformer编码器输出维度	128
	邻居实体感受野	4
	KGW模型输出维度	128
特征提取层	BiLSTM层隐藏层维度	2×256
预测输出层	Classifier全连接层维度	2×256
预测输出层	CRF的输入层	3

类型	超参数与结构参数	取值
基本超参数	BatchSize	20
	Dropout	0.1
	学习率	5×10^-4
	Epoch	30
	优化器	Adam
输入特征层	Embedding输出的字向量维度	128
	Transformer编码器输出维度	128
	邻居实体感受野	4
	KGW模型输出维度	128
特征提取层	BiLSTM层隐藏层维度	2×256
预测输出层	Classifier全连接层维度	2×256
预测输出层	CRF的输入层	3

模型	P	R	F1
BiLSTM-CRF	0.897 7	0.866 7	0.881 9
Lex-BERT-CRF	0.886 0	0.873 5	0.879 6
W2NER	0.882 6	0.874 3	0.878 4
文献［14］模型	0.862 6	0.854 3	0.858 5
本文模型	0.906 1	0.906 6	0.906 3

模型	P	R	F1
BiLSTM-CRF	0.897 7	0.866 7	0.881 9
Lex-BERT-CRF	0.886 0	0.873 5	0.879 6
W2NER	0.882 6	0.874 3	0.878 4
文献［14］模型	0.862 6	0.854 3	0.858 5
本文模型	0.906 1	0.906 6	0.906 3

模型	P	R	F1
BiLSTM-CRF	0.897 7	0.866 7	0.881 9
BiLSTM-KGW-CRF	0.901 8	0.887 6	0.894 7
Trans-BiLSTM-CRF	0.897 0	0.897 4	0.897 2
Trans+KGW-BiLSTM-CRF	0.906 1	0.906 6	0.906 3

基于Transformer和关键词信息聚合的电力科研成果命名实体识别

Named entity recognition of electric power research results based on Transformer and keyword information aggregation

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 24

相关文章 15

编辑推荐

Metrics

[1]	季长清, 张紫滢, 汪祖民. 基于增强图神经网络的多尺度Transformer的连续无创血压预测方法[J]. 《计算机应用》唯一官方网站, 2026, 46(9): 3043-3053.
[2]	董思语, 贾鑫, 张密, 陈新文, 孙昕霙, 程方骁. 基于CNN-Transformer编码器和多维脑电特征融合的抑郁状态识别模型[J]. 《计算机应用》唯一官方网站, 2026, 46(9): 3025-3034.
[3]	何戡, 马洪峰, 宗学军, 史洪岩, 连莲, 宁博伟. 融合双通道语义特征的工业控制协议模糊测试方法DCSFFuzzer[J]. 《计算机应用》唯一官方网站, 2026, 46(9): 2877-2888.
[4]	陈江彦, 王彦丹, 刘翼虎, 马应龙. 基于协同查询优化的长尾目标检测框架[J]. 《计算机应用》唯一官方网站, 2026, 46(9): 2769-2775.
[5]	吴昊, 黄渝璐, 冯暄, 张琼, 张晓博. 雷达信号特征识别的动态任务加权混合CNN-Transformer多任务学习方法[J]. 《计算机应用》唯一官方网站, 2026, 46(9): 3017-3024.
[6]	黄麟, 李英顺, 佟维妍, 张树园, 王子涵. 基于改进实时检测Transformer的遥感图像目标检测算法[J]. 《计算机应用》唯一官方网站, 2026, 46(8): 2652-2659.
[7]	侯迪迪, 洪少东, 付玉杰, 崔允贺, 申国伟. 基于大语言模型链接的网络安全实体识别方法[J]. 《计算机应用》唯一官方网站, 2026, 46(7): 2064-2073.
[8]	颜建强, 董贝贝, 曲博婷, 彭晨. 融合多源信息与图级注意力的双向扩散动态图卷积交通流预测网络[J]. 《计算机应用》唯一官方网站, 2026, 46(7): 2327-2333.
[9]	丰文君, 宋欣蔚, 岳云涛. 基于广义相关熵损失函数Transformer模型的环境电场强度时序预测[J]. 《计算机应用》唯一官方网站, 2026, 46(6): 1872-1880.
[10]	何丽丽, 曹勐, 张磊, 潘洪军, 刘义, 孙成心. 基于Kolmogorov-Arnold网络与扩散Transformer的手语生成模型[J]. 《计算机应用》唯一官方网站, 2026, 46(6): 1801-1810.
[11]	秦隽, 焦新涛, 曾碧卿. 融合BiLSTM-Transformer与Kolmogorov-Arnold网络的非侵入式负荷监测方法[J]. 《计算机应用》唯一官方网站, 2026, 46(6): 2026-2033.
[12]	吴闵奇, 杨元华, 李航, 胡雅琴, 汤智豪, 梅腾. 基于图Transformer和RT-DETR的轻量化水下小目标检测[J]. 《计算机应用》唯一官方网站, 2026, 46(5): 1586-1595.
[13]	严心怡, 朱灵龙, 张永宏. 面向复杂交通场景的多尺度实时人车检测方法CDC-DETR[J]. 《计算机应用》唯一官方网站, 2026, 46(4): 1283-1291.
[14]	白翔, 李巨川, 王慧民, 景超, 钮键, 张兴忠, 程永强. 基于改进Swin Transformer的电力图像检索方法[J]. 《计算机应用》唯一官方网站, 2026, 46(4): 1334-1343.
[15]	许盛伟, 王健波, 韩季杰, 白怡婕. 基于三分支特征提取的人脸伪造检测方法[J]. 《计算机应用》唯一官方网站, 2026, 46(4): 1292-1299.