基于改进循环池化网络的核电装备质量文本分类模型

doi:10.11772/j.issn.1001-9081.2023071005

《计算机应用》唯一官方网站 ›› 2024, Vol. 44 ›› Issue (7): 2034-2040.DOI: 10.11772/j.issn.1001-9081.2023071005

基于改进循环池化网络的核电装备质量文本分类模型

陆潜慧¹, 张羽¹, 王梦灵¹(), 吴庭伟¹, 单玉忠²

^1.华东理工大学信息科学与工程学院, 上海 200237
^2.深圳中广核工程设计有限公司, 广东深圳 518000

收稿日期:2023-07-25 修回日期:2023-10-08 接受日期:2023-10-10 发布日期:2023-10-26 出版日期:2024-07-10
通讯作者: 王梦灵
作者简介:陆潜慧（2001—），女，江苏南通人，硕士研究生，主要研究方向：数据挖掘；
张羽（2001—），女，浙江湖州人，硕士研究生，主要研究方向：数据挖掘；
吴庭伟（1998—），男，安徽滁州人，硕士研究生，主要研究方向：信息抽取；
单玉忠（1984—），男，吉林长春人，工程师，主要研究方向：核电装备质量管控。
第一联系人：王梦灵（1980—），女，湖北黄冈人，副教授，博士，主要研究方向：数据挖掘、人工智能；
基金资助:
国家重点研发计划项目(2020YFB1711700)

Classification model of nuclear power equipment quality text based on improved recurrent pooling network

Qianhui LU¹, Yu ZHANG¹, Mengling WANG¹(), Tingwei WU¹, Yuzhong SHAN²

^1.School of Information Science and Engineering，East China University of Science and Technology，Shanghai 200237，China
^2.China Nuclear Power Design Company Limited，Shenzhen Guangdong 518000，China

Received:2023-07-25 Revised:2023-10-08 Accepted:2023-10-10 Online:2023-10-26 Published:2024-07-10
Contact: Mengling WANG
About author:LU Qianhui， born in 2001， M. S. candidate. Her research interests include data mining.
ZHANG Yu， born in 2001， M. S. candidate. Her research interests include data mining.
WU Tingwei， born in 1998， M. S. candidate. His research interests include information extraction.
SHAN Yuzhong， born in 1984， engineer. His research interests include quality control of nuclear power equipment.
First author contact:WANG Mengling， born in 1980， Ph. D.， associate professor. Her research interests include data mining， artificial intelligence.
Supported by:
National Key Research and Development Program(2020YFB1711700)

摘要/Abstract

摘要：

核电装备质量文本描述了核电装备在设计、采购、施工和调试阶段出现的质量缺陷等问题。由于不同阶段质量事件的发生频率不同，且同一装备对应不同阶段的质量文本中存在相同的关键词和相似的表述形式，针对类型数量不均衡和语义描述耦合的质量文本分类问题，提出一种融合正则反馈焦点损失函数的改进循环池化网络分类模型。首先，采用BERT （Bidirectional Encoder Representation from Transformers）将核电装备质量文本转化为词向量；然后，提出一个改进的3层循环池化网络的分类模型结构，通过增加中间层并选择合适权重，扩大参数训练的提取空间，提升表征质量缺陷语义特征的能力；接着，提出正则反馈焦点损失函数来训练提出分类模型的参数，通过正则项使损失函数的梯度变化更稳定，根据反馈项对损失函数进行基于真实值和预测值之间误差的迭代调整，解决了不均衡样本在训练过程中梯度偏向不均衡的问题；最后，通过归一化指数函数计算出核电装备质量事件对应的阶段。在某核电公司真实数据集和公共数据集上，与Fast_Text网络相比，所提模型的F1值分别提高了2个百分点和1个百分点，实验结果表明该模型在文本分类任务中具有较高的准确性。

关键词: 改进循环池化网络, 焦点损失, 核电装备质量文本, 质量事件分类, 自然语言处理

Abstract:

The quality text of nuclear power equipment describes the quality defects and other issues that occur during the design， procurement， construction， and commissioning stages of nuclear power equipment. Due to the different frequencies of quality events occurring at different stages， and the existence of the same keywords and similar expressions in quality texts corresponding to the same equipment at different stages， an improved recurrent pooling network classification model was proposed by integrating regularization and feedback for focus loss function to address the quality text classification problems with imbalanced number of categories and semantic description coupling. Firstly， BERT （Bidirectional Encoder Representation from Transformers） was used to convert nuclear power equipment quality text into word vectors. Then， an improved three-layer recurrent pooling network classification model structure was proposed， which expanded the extraction space for parameter training by adding intermediate layers and selecting appropriate weights， and enhanced the ability to represent semantic features of quality defects. Next， regularization and feedback for focus loss function was proposed to train the parameters of the proposed classification model. To solve the problem of uneven gradient bias of imbalanced samples during the training process， the regularization term was used to make the gradient change of the loss function more stable， and the feedback term was used to iteratively adjust the loss function based on the error between the true value and the predicted value. Finally， the corresponding stages of nuclear power equipment quality events were calculated using a normalized exponential function. On the real dataset of a certain nuclear power company and a public dataset， F1 value of this model was 2 percentage points and 1 percentage point respectively higher than that of Fast_Text network. The experimental results show that the proposed model has high accuracy in text classification tasks.

Key words: improved recurrent pooling network, focal loss, nuclear power equipment quality text, quality event classification, natural language processing

中图分类号:

TP391.1

陆潜慧, 张羽, 王梦灵, 吴庭伟, 单玉忠. 基于改进循环池化网络的核电装备质量文本分类模型[J]. 计算机应用, 2024, 44(7): 2034-2040.

Qianhui LU, Yu ZHANG, Mengling WANG, Tingwei WU, Yuzhong SHAN. Classification model of nuclear power equipment quality text based on improved recurrent pooling network[J]. Journal of Computer Applications, 2024, 44(7): 2034-2040.

图/表 12

参考文献 21

1	PANG B， LEE L， VAITHYANATHAN S. Thumbs up？ sentiment classification using machine learning techniques ［C］// Proceedings of the 2002 Conference on Empirical Methods in Natural Language Processing. Stroudsburg： ACL， 2002， 10： 79-86.
2	ABBASI A， FRANCE S， ZHANG Z， et al. Selecting attributes for sentiment classification using feature relation networks ［J］. IEEE Transactions on Knowledge and Data Engineering， 2010， 23（3）： 447-462.
3	ZHOU Y， LI J L， CHI J， et al. Set-CNN： a text convolutional neural network based on semantic extension for short text classification ［J］. Knowledge-Based Systems， 2022， 257： 109948.
4	DENG J， CHENG L， WANG Z. Attention-based BiLSTM fused CNN with gating mechanism model for Chinese long text classification ［J］. Computer Speech & Language， 2021， 68： 101182.
5	AL-ADHAILEH M H， ALDHYANI T H H， ALGHAMDI A D. Online troll reviewer detection using deep learning techniques ［J］. Applied Bionics and Biomechanics， 2022， 2022： 4637594.
6	邓钰，雷航，李晓瑜，等.用于目标情感分类的多跳注意力深度模型［J］.电子科技大学学报， 2019， 48（5）： 759-766.
	DENG Y， LEI H， LI X Y， et al. A multi-hop attention deep model for aspect-level sentiment classification ［J］. Journal of University of Electronic Science and Technology of China， 2019， 48（5）： 759-766.
7	官永庆.基于机器学习的短文本分类在核电质量管理中的研究与应用［D］.上海：上海交通大学， 2017.
	GUAN Y Q. The research and application of short text classification based on machine learning in nuclear power quality management ［D］. Shanghai： Shanghai Jiao Tong University， 2017.
8	徐霞军，秦绪涛，杨强，等.大数据技术在核电设备缺陷分析中的初步应用［J］.核动力工程， 2020， 41（S1）： 68-72.
	XU X J， QIN X T， YANG Q， et al. Preliminary application of big data technology in defect analysis of nuclear power equipment ［J］. Nuclear Power Engineering， 2020， 41（S1）： 68-72.
9	BUDA M， MAKI A， MAZUROWSKI M. A systematic study of the class imbalance problem in convolutional neural networks ［J］. Neural Networks， 2017， 106： 249-259.
10	叶枫，江永省.基于聚类融合欠采样的不平衡分类方法［J］.计算机应用与软件， 2020， 37（1）： 292-297.
	YE F， JIANG Y S. Unbalanced classification method based on clustering ensemble and under-sampling ［J］. Computer Applications and Software， 2020， 37（1）： 292-297.
11	LI X， YU L， CHANG D， et al. Dual cross-entropy loss for small-sample fine-grained vehicle classification ［J］. IEEE Transactions on Vehicular Technology， 2019， 68（5）： 4204-4212.
12	LIN T-Y， GOYAL P， GIRSHICK R， et al. Focal loss for dense object detection ［C］// Proceedings of the 2017 International Conference on Computer Vision. Piscataway： IEEE， 2017： 2999-3007.
13	KIM J， KIM T， KIM S， et al. Edge-labeling graph neural network for few-shot learning ［C］// Proceedings of the 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2019： 11-20.
14	ZHOU Z， SHIN J， ZHANG L， et al. Fine-tuning convolutional neural networks for biomedical image analysis： actively and incrementally ［C］// Proceedings of the 2017 IEEE Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2017： 4761-4772.
15	DEVLIN J， CHANG M-W， LEE K， et al. BERT： pre-training of deep bidirectional Transformers for language understanding ［C］// Proceedings of the 2019 Annual Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies， Volume 1（Long and Short Papers）. Stroudsburg： ACL， 2019： 4171-4186.
16	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need ［C］// Proceedings of the 31 st International Conference on Neural Information Processing Systems. Red Hook： Curran Associates Inc.， 2017： 6000-6010.
17	LIU P， QIU X， HUANG X. Recurrent neural network for text classification with multi-task learning ［C］// Proceedings of the 25th International Joint Conference on Artificial Intelligence. New York： AAAI Press， 2016： 2873-2879.
18	MNIH V， HEESS N， GRAVES A. Recurrent models of visual attention ［C］// Proceedings of the 27th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2014： 2204-2212.
19	KIM Y. Convolutional neural networks for sentence classification ［C］// Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing. Stroudsburg： ACL， 2014： 1746-1751.
20	JOHNSON R， ZHANG T. Deep pyramid convolutional neural networks for text categorization ［C］// Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics， Volume 1（Long Papers）. Stroudsburg： ACL， 2017： 562-570.
21	JOULIN A， GRAVE E， BOJANOWSKI P， et al. Bag of tricks for efficient text classification ［C］// Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics， Volume 2（Short Papers）. Stroudsburg： ACL， 2017： 427-431.

序号	核电装备质量文本描述（样例）	缺陷阶段	阶段样本数（统计值）
1	发电机过频保护不受发电机*发电机过频保护的定值，则存在误跳主变的风险。导致发电机过频保护误动作，误跳高压开关。机组正常运行期间发生可能产生超速*导致发电机过频保护动作，跳开高压开关。	调试	6 380
2	在GSY系统***未考虑发电机出口断路器检修维护的便利性。	施工	1 348
3	*现场在执行试验时，泵润滑油冷却水回流流量，低于“润滑油冷却器冷却水回流流量的最低要求值**要求。	采购	5 698
4	*泵出口排气管道有断断续续的冷凝水倒流至。对润滑油取样分析，润滑油严重乳化。泵运行过程中润滑油生成大量泡沫。**造成油箱内液位降低。	设计	904

序号	核电装备质量文本描述（样例）	缺陷阶段	阶段样本数（统计值）
1	发电机过频保护不受发电机*发电机过频保护的定值，则存在误跳主变的风险。导致发电机过频保护误动作，误跳高压开关。机组正常运行期间发生可能产生超速*导致发电机过频保护动作，跳开高压开关。	调试	6 380
2	在GSY系统***未考虑发电机出口断路器检修维护的便利性。	施工	1 348
3	*现场在执行试验时，泵润滑油冷却水回流流量，低于“润滑油冷却器冷却水回流流量的最低要求值**要求。	采购	5 698
4	*泵出口排气管道有断断续续的冷凝水倒流至。对润滑油取样分析，润滑油严重乳化。泵运行过程中润滑油生成大量泡沫。**造成油箱内液位降低。	设计	904

模型	精确率	召回率	F1
Fast_Text-RFFL	94	93	93
Text_RNN-RFFL	94	93	93
Text_RNN_Att-RFFL	94	93	93
Text_CNN-RFFL	93	93	93
Text_DPCNN-RFFL	94	93	93
IRPN_RFFL	95	94	94

模型	精确率	召回率	F1
Fast_Text-RFFL	94	93	93
Text_RNN-RFFL	94	93	93
Text_RNN_Att-RFFL	94	93	93
Text_CNN-RFFL	93	93	93
Text_DPCNN-RFFL	94	93	93
IRPN_RFFL	95	94	94

[1]	帅奇, 王海瑞, 朱贵富. 基于双向对比训练的中文故事结尾生成模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2683-2688.
[2]	张全梅, 黄润萍, 滕飞, 张海波, 周南. 融合异构信息的自动国际疾病分类编码方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2476-2482.
[3]	于右任, 张仰森, 蒋玉茹, 黄改娟. 融合多粒度语言知识与层级信息的中文命名实体识别模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1706-1712.
[4]	刘耀, 李雨萌, 宋苗苗. 基于业务流程的认知图谱[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1699-1705.
[5]	高龙涛, 李娜娜. 基于方面感知注意力增强的方面情感三元组抽取[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1049-1057.
[6]	杨先凤, 汤依磊, 李自强. 基于交替注意力机制和图卷积网络的方面级情感分析模型[J]. 《计算机应用》唯一官方网站, 2024, 44(4): 1058-1064.
[7]	杨保山, 杨智, 陈性元, 韩冰, 杜学绘. Android应用敏感行为与隐私政策一致性分析[J]. 《计算机应用》唯一官方网站, 2024, 44(3): 788-796.
[8]	王楷天, 叶青, 程春雷. 基于异构图表示的中医电子病历分类方法[J]. 《计算机应用》唯一官方网站, 2024, 44(2): 411-417.
[9]	姜雨杉, 张仰森. 大语言模型驱动的立场感知事实核查[J]. 《计算机应用》唯一官方网站, 2024, 44(10): 3067-3073.
[10]	冯程皓, 谢振平, 丁博文. 中文文本纠错软件测试用例的选择生成方法[J]. 《计算机应用》唯一官方网站, 2024, 44(1): 101-112.
[11]	周晓敏, 滕飞, 张艺. 基于元网络的自动国际疾病分类编码模型[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2721-2726.
[12]	张心月, 刘蓉, 魏驰宇, 方可. 融合提示知识的方面级情感分析方法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2753-2759.
[13]	陈克正, 郭晓然, 钟勇, 李振平. 基于负训练和迁移学习的关系抽取方法[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2426-2430.
[14]	金泽熙, 李磊, 刘继. 基于改进领域分离网络的迁移学习模型[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2382-2389.
[15]	刘耀, 童昕, 陈一风. 面向业务需求的算法路径自组配模型[J]. 《计算机应用》唯一官方网站, 2023, 43(6): 1768-1778.

基于改进循环池化网络的核电装备质量文本分类模型

Classification model of nuclear power equipment quality text based on improved recurrent pooling network

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 12

参考文献 21

相关文章 15

编辑推荐

Metrics