基于残差收缩网络的关系抽取算法

doi:10.11772/j.issn.1001-9081.2021081473

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (10): 3040-3045.DOI: 10.11772/j.issn.1001-9081.2021081473

• 人工智能 • 上一篇

基于残差收缩网络的关系抽取算法

袁泉¹^,², 薛书鑫¹^,²()

^1.重庆邮电大学通信与信息工程学院，重庆 400065
^2.重庆邮电大学通信新技术应用研究中心，重庆 400065

收稿日期:2021-08-18 修回日期:2021-12-16 接受日期:2021-12-20 发布日期:2022-02-11 出版日期:2022-10-10
通讯作者: 薛书鑫
作者简介:第一联系人：袁泉（1976—），男，湖南邵阳人，高级工程师，硕士，主要研究方向：大数据、自然语言处理

Relation extraction algorithm based on residual shrinkage network

Quan YUAN¹^,², Shuxin XUE¹^,²()

^1.School of Communication and Information Engineering，Chongqing University of Posts and Telecommunications，Chongqing 400065，China
^2.Research Center of New Communication Technology Applications，Chongqing University of Posts and Telecommunications，Chongqing 400065，China

Received:2021-08-18 Revised:2021-12-16 Accepted:2021-12-20 Online:2022-02-11 Published:2022-10-10
Contact: Shuxin XUE
About author:YUAN Quan， born in 1976， M. S. ， senior engineer. His research interests include big data， natural language processing.

摘要/Abstract

摘要：

针对关系抽取中句子内部单词干扰产生的噪声问题，提出了一种基于软阈值模块的残差收缩网络的改进算法。首先，在残差网络的各个特征通道训练阈值，该阈值具备两个特点，一是其绝对值不能过大，过大将会剔除有效信息；二是该阈值对于不同的输入训练有不同的结果。然后，根据软阈值化的特性，将通道特征中小于阈值的部分删除，大于阈值的部分减小，相较于直接删除负面特性，软阈值可以保存负面特性中有用的信息。最后，额外加入注意力模块优化模型，该模块可以降低远程监督中错误标签问题对实验的影响。选取分段卷积神经网络（PCNN）、双向长短期记忆神经（BiLSTM）网络和普通残差网络（ResNet）作为基线模型进行对比实验，实验结果表明，所提模型的精确率??召回率曲线包含了基线模型的曲线，且F1值相较于基准模型分别提高了6.0个百分点、3.9个百分点和1.4个百分点，验证了加入软阈值化的网络模型可以通过减少句内噪声的方式提高关系抽取的准确性。

关键词: 残差网络, 远程监督, 注意力机制, 关系抽取, 软阈值化

Abstract:

An improved algorithm based on residual shrinkage network with soft threshold module was proposed to solve the problem of noise caused by interference between words within a sentence in relation extraction. Firstly， the threshold was trained in each feature channel of the residual network. The threshold had two characteristics： first， its absolute value would not be too large， if it was too large， effective information would be eliminated； second， the threshold had different results for different input training. Secondly， according to the characteristics of soft threshold， the channel features lower than the threshold were deleted， and those higher than the threshold were reduced. Compared with direct deletion of negative features， soft threshold was able to save useful information of negative features. Finally， an optimization model of attention module was added to reduce the influence of mislabeling problem in distant supervision. Piecewise Convolutional Neural Network （PCNN）， Bi-directional Long Short-Term Memory （BiLSTM） network and ordinary Residual Network （ResNet） were selected as baseline models for comparison experiments. Experimental results show that the precision-recall curves of the proposed model include the curves of other models and the F1 scores of the proposed model are increased by 6.0 percentage points， 3.9 percentage points and 1.4 percentage points respectively compared to the baseline models， which verifies that addition of soft thresholding network model can improve accuracy of relation extraction by reducing in-sentence noise.

Key words: residual network, distant supervision, attention mechanism, relation extraction, soft thresholding

中图分类号:

TP391

袁泉, 薛书鑫. 基于残差收缩网络的关系抽取算法[J]. 计算机应用, 2022, 42(10): 3040-3045.

Quan YUAN, Shuxin XUE. Relation extraction algorithm based on residual shrinkage network[J]. Journal of Computer Applications, 2022, 42(10): 3040-3045.

图/表 8

图1 三元组

Fig.1 Triple

图2 残差收缩模块

Fig.2 Residual shrinkage module

图3 基于残差收缩网络模型的整体结构

Fig.3 Overall structure of network model based on residual shrinkage

表1 数据集参数

Tab. 1 Dataset parameters

参数	训练集	测试集	参数	训练集	测试集
句子数	522 611	172 448	关系种类数	53	53
实体对数	281 270	96 278	关系事实数	18 252	1 950

表2 实验参数设置

Tab. 2 Experimental parameter setting

参数	值
词嵌入维度	100
位置嵌入维度	10
窗口数	3
Feature maps	128
循环次数epochs	100
单词数据输入量Batch size	64
Dropout rate	0.1

表3 残差收缩模块数量对性能的影响

Tab. 3 Influence of number of residual shrinkage modules on performance

模型	F1值	模型	F1值
RS-1	0.667	RS-7	0.681
RS-3	0.681	RS-9	0.681
RS-5	0.681

图4 本文模型与基线模型的PR曲线

Fig. 4 PR curves of the proposed model and baseline models

表4 不同模型结合注意力机制的F1值对比

Tab. 4 Comparison of F1 scores of different models combined with attention mechanism

模型	F1值	模型	F1值
PCNN+att	0.621	RS	0.645
BiLSTM+att	0.642	RS+att	0.681
ResNet+att	0.667

参考文献 16

1	MINTZ M， BILLS S， SNOW R， et al. Distant supervision for relation extraction without labeled data［C］// Proceedings of the Joint Conference of the 47th Annual Meeting of the ACL and the 4th International Joint Conference on Natural Language Processing of the AFNLP. Stroudsburg， PA： Association for Computational Linguistics， 2009： 1003-1011. 10.3115/1690219.1690287
2	HOFFMANN R， ZHANG C L， LING X， et al. Knowledge-based weak supervision for information extraction of overlapping relations［C］// Proceedings of the 49th Annual Meeting of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg， PA： Association for Computational Linguistics， 2011： 541-550.
3	ZENG D J， LIU K， CHEN Y B， et al. Distant supervision for relation extraction via piecewise convolutional neural networks［C］// Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2015： 1753-1762. 10.18653/v1/d15-1203
4	LIN Y K， SHEN S Q， LIU Z Y， et al. Neural relation extraction with selective attention over instances［C］// Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics （Volume 1： Long Papers）. Stroudsburg， PA： Association for Computational Linguistics， 2016： 2124-2133. 10.18653/v1/p16-1200
5	ZHANG M， GENG G H. Capsule networks with word-attention dynamic routing for cultural relics relation extraction［J］. IEEE Access， 2020， 8： 94236-94244. 10.1109/access.2020.2995447
6	BAI T， GUAN H T， WANG S， et al. Traditional Chinese medicine entity relation extraction based on CNN with segment attention［J］. Neural Computing and Applications， 2022， 34（4）： 2739-2748. 10.1007/s00521-021-05897-9
7	谌予恒，王峥. 结合注意力机制与残差网络的远程监督关系抽取［J］. 计算机与数字工程， 2020， 48（4）：909-913. 10.3969/j.issn.1672-9722.2020.04.032
	CHEN Y H， WANG Z. Distant supervision for relation extraction based on combining attention and residual network［J］. Computer and Digital Engineering， 2020， 48（4）：909-913. 10.3969/j.issn.1672-9722.2020.04.032
8	FENG J， HUANG M L， ZHAO L， et al. Reinforcement learning for relation classification from noisy data［C］// Proceedings of the 32nd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2018： 5779-5786. 10.1609/aaai.v32i1.12063
9	QIN P D， XU W R， WANG W Y. Robust distant supervision relation extraction via deep reinforcement learning［C］// Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics （Volume 1： Long Papers）. Stroudsburg， PA： Association for Computational Linguistics， 2018： 2137-2147. 10.18653/v1/p18-1199
10	CHEN T T， WANG N B， HE M， et al. Reducing wrong labels for distantly supervised relation extraction with reinforcement learning［J］. IEEE Access， 2020， 8：81320-81330. 10.1109/access.2020.2990680
11	YI Q， ZHANG G X， ZHANG S W. Utilizing gated convolutional picker to enhance relation extraction［C］// Proceedings of the 2020 International Conference on Culture-oriented Science and Technology. Piscataway： IEEE， 2020： 274-278. 10.1109/iccst50977.2020.00059
12	ZENG D J， LIU K， LAI S W， et al. Relation classification via convolutional deep neural network［C］// Proceedings of the 25th International Conference on Computational Linguistics： Technical Papers. ［S.l.］： Association for Computational Linguistics， 2014： 2335-2344.
13	谢腾，杨俊安，刘辉. 融合多特征BERT模型的中文实体关系抽取［J］.计算机系统应用， 2021， 30（5）：253-261.
	XIE T， YANG J A， LIU H. Chinese entity relation extraction based on multi-feature BERT model［J］. Computer Systems and Applications， 2021， 30（5）：253-261.
14	ZHAO M H， ZHONG S S， FU X Y， et al. Deep residual shrinkage networks for fault diagnosis［J］. IEEE Transactions on Industrial Informatics， 2020， 16（7）：4681-4690. 10.1109/tii.2019.2943898
15	HU J， SHEN L， SUN G. Squeeze-and-excitation networks［C］// Proceedings of the 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition. Piscataway： IEEE， 2018： 7132-7141. 10.1109/cvpr.2018.00745
16	RIEDEL S， YAO L M， McCALLUM A. Modeling relations and their mentions without labeled text［C］// Proceedings of the 2010 Joint European Conference on Machine Learning and Knowledge Discovery in Databases， LNCS 6323. Berlin： Springer， 2010： 148-163. 10.5715/jnlp.4.3_1

[1]	衡红军, 徐天宝. 基于多尺度卷积和门控机制的注意力情感分析模型[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2674-2679.
[2]	廖列法, 李志明, 张赛赛. 基于深度残差网络的迭代量化哈希图像检索方法[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2845-2852.
[3]	李姚舜, 刘黎志. 嵌入注意力机制的轻量级钢筋检测网络[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2900-2908.
[4]	魏海云, 郑茜颖, 俞金玲. 基于多尺度网络的运动模糊图像复原算法[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2838-2844.
[5]	张文涛, 王园宇, 李赛泽. 基于条件对抗网络的单幅霾图像深度估计模型[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2865-2875.
[6]	刘月峰, 张小燕, 郭威, 边浩东, 何滢婕. 基于优化混合模型的航空发动机剩余寿命预测方法[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2960-2968.
[7]	文凯, 唐伟伟, 熊俊臣. 基于注意力机制和有效分解卷积的实时分割算法[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2659-2666.
[8]	侯旭东, 滕飞, 张艺. 基于深度自编码的医疗命名实体识别模型[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2686-2692.
[9]	徐成霞, 阎庆, 李腾, 苗开超. 基于联合注意力机制的单幅图像去雨算法[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2578-2585.
[10]	李坤, 侯庆. 基于注意力机制的轻量型人体姿态估计[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2407-2414.
[11]	张丽莹, 庞春江, 王新颖, 李国亮. 基于改进YOLOv3的多尺度目标检测算法[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2423-2431.
[12]	张新宇, 丁胜, 杨治佩. 基于改进注意力机制的交通标志检测算法[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2378-2385.
[13]	玄英律, 万源, 陈嘉慧. 基于多尺度卷积和注意力机制的LSTM时间序列分类[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2343-2352.
[14]	吴明晖, 张广洁, 金苍宏. 基于多模态信息融合的时间序列预测模型[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2326-2332.
[15]	吕振虎, 许新征, 张芳艳. 基于挤压激励的轻量化注意力机制模块[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2353-2360.

基于残差收缩网络的关系抽取算法

Relation extraction algorithm based on residual shrinkage network

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 8

参考文献 16

相关文章 15

编辑推荐

Metrics