基于特征组合的异构图注意力网络关系抽取

doi:10.11772/j.issn.1001-9081.2024081076

《计算机应用》唯一官方网站 ›› 2025, Vol. 45 ›› Issue (8): 2470-2476.DOI: 10.11772/j.issn.1001-9081.2024081076

• 第21届CCF中国信息系统及应用大会 (WISA 2024) • 上一篇

基于特征组合的异构图注意力网络关系抽取

闫家鑫¹^,²^,³, 陈艳平¹^,²^,³(), 杨卫哲¹^,²^,³, 黄瑞章¹^,²^,³, 秦永彬¹^,²^,³

^1.贵州大学文本计算与认知智能教育部工程研究中心，贵阳 550025
^2.公共大数据国家重点实验室（贵州大学），贵阳 550025
^3.贵州大学计算机科学与技术学院，贵阳 550025

收稿日期:2024-08-01 修回日期:2024-08-12 接受日期:2024-08-15 发布日期:2024-09-12 出版日期:2025-08-10
通讯作者: 陈艳平
作者简介:闫家鑫（2000—），男，四川成都人，硕士研究生，CCF会员，主要研究方向：自然语言处理、信息抽取
杨卫哲（1996—），男，河南新乡人，博士研究生，主要研究方向：自然语言处理
黄瑞章（1979—），女，天津人，教授，博士，CCF会员，主要研究方向：数据融合分析、文本挖掘、网络挖掘、知识发现
秦永彬（1980—），男，山东烟台人，教授，博士，CCF高级会员，主要研究方向：大数据管理与应用、多源数据融合。
基金资助:
贵州省科学技术基金重点资助项目(［2024］003);国家重点研发计划项目(2023YFC3304500);国家自然科学基金资助项目(62166007)

Heterogeneous graph attention network for relation extraction based on feature combination

Jiaxin YAN¹^,²^,³, Yanping CHEN¹^,²^,³(), Weizhe YANG¹^,²^,³, Ruizhang HUANG¹^,²^,³, Yongbin QIN¹^,²^,³

^1.Engineering Research Center of Ministry of Education for Text Computing and Cognitive Intelligence，Guizhou University，Guiyang Guizhou 550025，China
^2.State Key Laboratory of Public Big Data （Guizhou University），Guiyang Guizhou 550025，China
^3.College of Computer Science and Technology，Guizhou University，Guiyang Guizhou 550025，China

Received:2024-08-01 Revised:2024-08-12 Accepted:2024-08-15 Online:2024-09-12 Published:2025-08-10
Contact: Yanping CHEN
About author:YAN Jiaxin， born in 2000， M. S. candidate. His research interests include natural language processing， information extraction.
YANG Weizhe， born in 1996， Ph. D. candidate. His research interests include natural language processing.
HUANG Ruizhang， born in 1979， Ph. D.， professor. Her research interests include data fusion analysis， text mining， network mining， knowledge discovery.
QIN Yongbin， born in 1980， Ph. D.， professor. His research interests include big data management and application， multi-source data fusion.
Supported by:
Major Science and Technology Foundation of Guizhou Province(［2024］003);National Key Research and Development Program of China(2023YFC3304500);National Natural Science Foundation of China(62166007)

摘要/Abstract

摘要：

关系抽取旨在从句子中提取2个实体之间的预定义语义关系。传统基于图神经网络的关系抽取方法一般通过依赖树构建句子的图表示结构；然而，使用依赖树构建出的图结构表达能力单一，且无法完整捕捉到目标实体丰富的语法结构信息。针对这些问题，提出基于特征组合的异构图注意力网络（HGAT）关系抽取方法。首先，抽取句子中的原子特征，并通过组合这些原子特征得到句子的组合特征；其次，把组合特征和关系标签表示为异构图上的两种节点以构建“特征-关系二部图”；最后，使用图注意力网络动态地更新节点，进而实现关系抽取。所提方法能有效利用组合特征和句子中的语法结构信息，进而提升关系抽取的性能。在ACE05英文数据集和SemEval-2010 task 8数据集上的实验结果表明，所提方法分别达到了84.11%和90.67%的F1值，证明了所提方法的有效性。

关键词: 关系抽取, 原子特征, 特征组合, 异构图, 图注意力网络

Abstract:

Relation extraction aims to identify predefined semantic relationships between two entities within a sentence. Traditional graph neural network-based relation extraction methods generally use dependency trees to construct a graphical representation structure of the sentence. However， the graph structure constructed by dependency tree has limited expression ability and is unable to fully capture rich syntactic structure information of the target entity. To address these issues， a relation extraction method of Heterogeneous Graph ATtention network （HGAT） based on feature combination was proposed. Firstly， atomic features were extracted from the sentence， and composite features were obtained by combining these atomic features. Secondly， the composite features and relation labels were represented as two types of nodes on the heterogeneous graph to construct a “feature-relation bipartite graph”. Finally， a graph attention network was used to update the nodes dynamically to perform relation extraction. In this method， the composite features and the syntactic structure information in the sentence were utilized effectively， thereby enhancing the performance of relation extraction. Experimental results on ACE05 English dataset and SemEval-2010 task 8 dataset show that this method achieves F1-scores of 84.11% and 90.67%， respectively， demonstrating the effectiveness of the proposed method.

Key words: relation extraction, atomic feature, feature combination, heterogeneous graph, graph attention network

中图分类号:

TP391

闫家鑫, 陈艳平, 杨卫哲, 黄瑞章, 秦永彬. 基于特征组合的异构图注意力网络关系抽取[J]. 计算机应用, 2025, 45(8): 2470-2476.

Jiaxin YAN, Yanping CHEN, Weizhe YANG, Ruizhang HUANG, Yongbin QIN. Heterogeneous graph attention network for relation extraction based on feature combination[J]. Journal of Computer Applications, 2025, 45(8): 2470-2476.

图/表 9

参考文献 28

[1]	ZHANG Y， ZHONG V， CHEN D， et al. Position-aware attention and supervised data improve slot filling［C］// Proceedings of the 2017 Conference on Empirical Methods in Natural Language Processing. Stroudsburg： ACL， 2017： 35-45.
[2]	文坤建，陈艳平，黄瑞章，等. 基于提示学习的生物医学关系抽取方法［J］. 计算机科学， 2023， 50（10）： 223-229.
	WEN K J， CHEN Y P， HUANG R Z， et al. Biomedical relationship extraction method based on prompt learning［J］. Computer Science， 2023， 50（10）： 223-229.
[3]	XIA R， DING Z. Emotion-cause pair extraction： a new task to emotion analysis in texts［C］// Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Stroudsburg： ACL， 2019： 1003-1012.
[4]	ZHANG Y， QI P， MANNING C D. Graph convolution over pruned dependency trees improves relation extraction［C］// Proceedings of the 2018 Conference on Empirical Methods in Natural Language Processing. Stroudsburg： ACL， 2018： 2205-2215.
[5]	GUO Z， ZHANG Y， LU W. Attention guided graph convolutional networks for relation extraction［C］// Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Stroudsburg： ACL， 2019： 241-251.
[6]	CHEN Y， ZHENG Q， CHEN P. A set space model for feature calculus［J］. IEEE Intelligent Systems， 2017， 32（5）： 36-42.
[7]	CHEN Y， WANG G， ZHENG Q， et al. A set space model to capture structural information of a sentence［J］. IEEE Access， 2019， 7： 142515-142530.
[8]	CHEN Y， ZHENG Q， CHEN P. Feature assembly method for extracting relations in Chinese［J］. Artificial Intelligence， 2015， 228： 179-194.
[9]	CHEN Y， YANG W， WANG K， et al. A neuralized feature engineering method for entity relation extraction［J］. Neural Networks， 2021， 141： 249-260.
[10]	WANG H， CHEN Y， YANG W， et al. A two dimensional feature engineering method for relation extraction［EB/OL］. ［2024-08-10］..
[11]	KHAN I， KWON Y W. Multi-class malware detection via deep graph convolutional networks using TF-IDF-based attributed call graphs［C］// Proceedings of the 2023 International Conference on Information Security Applications， LNCS 14402. Singapore： Springer， 2024： 188-200.
[12]	杨卫哲，秦永彬，黄瑞章，等. 面向中文关系抽取的句子结构获取方法［J］. 数据采集与处理， 2021， 36（3）： 605-620.
	YANG W Z， QIN Y B， HUANG R Z， et al. Sentence structure acquisition method for Chinese relation extraction［J］. Journal of Data Acquisition and Processing， 2021， 36（3）：605-620.
[13]	HU Y， CHEN Y， HUANG R， et al. A hierarchical convolutional model for biomedical relation extraction［J］. Information Processing and Management， 2024， 61（1）： No.103560.
[14]	衡红军，徐天宝. 基于多尺度卷积和门控机制的注意力情感分析模型［J］. 计算机应用， 2022， 42（9）： 2674-2679.
	HENG H J， XU T B. Attention sentiment analysis model based on multi-scale convolution and gating mechanism［J］. Journal of Computer Applications， 2022， 42（9）： 2674-2679.
[15]	NGUYEN T H， GRISHMAN R. Combining neural net-works and log-linear models to improve relation extraction［EB/OL］. ［2024-08-10］..
[16]	ZHENG S， XU J， ZHOU P， et al. A neural network frame-work for relation extraction： learning entity semantic and relation pattern［J］. Knowledge-Based Systems， 2016， 114： 12-23.
[17]	ZHANG S， ZHENG D， HU X， et al. Bidirectional long short-term memory networks for relation classification［C］// Proceedings of the 29th Pacific Asia Conference on Language， Information and Computation. Stroudsburg： ACL， 2015： 73-78.
[18]	TIAN Y， CHEN G， SONG Y， et al. Dependency-driven relation extraction with attentive graph convolutional networks［C］// Proceedings of the 59th Annual Meeting of the Association for Computational Linguistics and the 11th International Joint Conference on Natural Language Processing （Volume 1： Long Papers）. Stroudsburg： ACL， 2021： 4458-4471.
[19]	ZHAO K， XU H， CHENG Y， et al. Representation iterative fusion based on heterogeneous graph neural network for joint entity and relation extraction［J］. Knowledge-Based Systems， 2021， 219： No.106888.
[20]	CHEN Y， ZHENG Q， ZHANG W. Omni-word feature and soft constraint for Chinese relation extraction［C］// Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics （Volume 1： Long Papers）. Stroudsburg： ACL， 2014： 572-581.
[21]	GORMLEY M R， YU M， DREDZE M. Improved relation extraction with feature-rich compositional embedding models［C］// Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing. Stroudsburg： ACL， 2015： 1774-1784.
[22]	CHRISTOPOULOU F， MIWA M， ANANIADOU S. A walk-based model on entity graphs for relation extraction［C］// Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics （Volume 2： Short Papers）. Stroudsburg： ACL， 2018： 81-88.
[23]	WU Y， CHEN Y， QIN Y， et al. A recollect-tuning method for entity and relation extraction［J］. Expert Systems with Applications， 2024， 245： No.123000.
[24]	SUN C， GONG Y， WU Y， et al. Joint type inference on entities and relations via graph convolutional networks［C］// Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics. Stroudsburg： ACL， 2019： 1361-1370.
[25]	XU J， CHEN Y， QIN Y， et al. A feature combination-based graph convolutional neural network model for relation extraction［J］. Symmetry， 2021， 13（8）： No.1458.
[26]	XU J， CHEN Y， QIN Y， et al. A learnable graph convolutional neural network model for relation extraction［C］// Proceedings of the 28th China Conference on Information Retrieval， LNCS 13819. Cham： Springer， 2023： 90-104.
[27]	CHEN G， TIAN Y， SONG Y， et al. Relation extraction with type-aware map memories of word dependencies［C］// Findings of the Association for Computational Linguistics： ACL-IJCNLP 2021. Stroudsburg： ACL， 2021： 2501-2512.
[28]	唐媛，陈艳平，扈应，等. 基于多尺度混合注意力卷积神经网络的关系抽取模型［J］. 计算机应用， 2024， 44（7）： 2011-2017.
	TANG Y， CHEN Y P， HU Y， et al. Relation extraction based on multi-scale mixed attention convolutional neural networks［J］. Journal of Computer Applications， 2024， 44（7）： 2011-2017.

原子特征	函数表示	描述
f₁	｛f = LeftPosOf（e_i ）｝	实体i左近邻单词词性
f₂	｛f = RightPosOf（e_i ）｝	实体i右近邻单词词性
f₃	｛f = TypeOf（e_i ）｝	实体i的类型
f₄	｛f = SubTypeOf（e_i ）｝	实体i的子类型
f₅	｛f = HeadOf（e_i ）｝	实体i的中心名词
f₆	｛f = PositionBetween（e₁，e₂）｝	两实体相对位置关系

原子特征	函数表示	描述
f₁	｛f = LeftPosOf（e_i ）｝	实体i左近邻单词词性
f₂	｛f = RightPosOf（e_i ）｝	实体i右近邻单词词性
f₃	｛f = TypeOf（e_i ）｝	实体i的类型
f₄	｛f = SubTypeOf（e_i ）｝	实体i的子类型
f₅	｛f = HeadOf（e_i ）｝	实体i的中心名词
f₆	｛f = PositionBetween（e₁，e₂）｝	两实体相对位置关系

特征组合	函数表示
F₁	｛F = LeftPosOf（e₁）⊕TypeOf（e₁）｝
F₂	｛F = TypeOf（e₁）⊕RightPosOf（e₁）｝
F₃	｛F = LeftPosOf（e₂）⊕TypeOf（e₂）｝
F₄	｛F = TypeOf（e₂）⊕RightPosOf（e₂）｝
F₅	｛F = TypeOf（e₁）⊕TypeOf（e₂）｝
F₆	｛F = SubTypeOf（e₁）⊕SubTypeOf（e₂）｝
F₇	｛F = HeadOf（e₁）⊕HeadOf（e₂）｝

特征组合	函数表示
F₁	｛F = LeftPosOf（e₁）⊕TypeOf（e₁）｝
F₂	｛F = TypeOf（e₁）⊕RightPosOf（e₁）｝
F₃	｛F = LeftPosOf（e₂）⊕TypeOf（e₂）｝
F₄	｛F = TypeOf（e₂）⊕RightPosOf（e₂）｝
F₅	｛F = TypeOf（e₁）⊕TypeOf（e₂）｝
F₆	｛F = SubTypeOf（e₁）⊕SubTypeOf（e₂）｝
F₇	｛F = HeadOf（e₁）⊕HeadOf（e₂）｝

数据集	样本数			关系数
数据集	训练集	验证集	测试集	关系数
ACE05	83 293	10 412	10 412	7
SemEval-2010 task 8	8 000	—	2 717	19

基于特征组合的异构图注意力网络关系抽取

Heterogeneous graph attention network for relation extraction based on feature combination

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 9

参考文献 28

相关文章 15

编辑推荐

Metrics

模型	精确率	召回率	F1值
FCM^［21］	71.52	49.32	58.26
Walk-based^［22］	69.70	59.50	64.20
Re-tuning ^［23］	75.90	71.40	73.60
GCN^［24］	68.70	65.40	67.00
FC-GCN^［25］	85.64	75.95	80.50
L-GCN^［26］	87.09	79.79	83.28
A-GCN^［18］	—	—	79.05
本文模型	89.39	79.73	84.11

模型	精确率	召回率	F1值
C-GCN^［4］	—	—	84.80
TaMM^［27］	—	—	90.06
Mix Attention^［28］	91.69	89.06	90.32
A-GCN^［18］	—	—	89.85
本文模型	91.46	89.91	90.67

模型	ACE05	SemEval-2010 task 8
本文模型	84.11	90.67
-Combined features	83.08	90.06
-Cf.Syntactic features	83.36	90.38
-Cf.Structural features	83.50	90.40
-HGAT	82.13	89.98
-Gate mechanism	83.78	90.43

[1]	张硕, 孙国凯, 庄园, 冯小雨, 王敬之. 面向区块链节点分析的eclipse攻击动态检测方法[J]. 《计算机应用》唯一官方网站, 2025, 45(8): 2428-2436.
[2]	王海杰, 张广鑫, 史海, 陈树. 基于实体表示增强的文档级关系抽取[J]. 《计算机应用》唯一官方网站, 2025, 45(6): 1809-1816.
[3]	颜文婧, 王瑞东, 左敏, 张青川. 基于风味嵌入异构图层次学习的食谱推荐模型[J]. 《计算机应用》唯一官方网站, 2025, 45(6): 1869-1878.
[4]	杨大伟, 徐西海, 宋威. 结合语义增强和感知注意力的关系抽取方法[J]. 《计算机应用》唯一官方网站, 2025, 45(6): 1801-1808.
[5]	胡婕, 吴翠, 孙军, 张龑. 基于回指与逻辑推理的文档级关系抽取模型[J]. 《计算机应用》唯一官方网站, 2025, 45(5): 1496-1503.
[6]	李嘉欣, 莫思特. 基于MiniRBT-LSTM-GAT与标签平滑的台区电力工单分类[J]. 《计算机应用》唯一官方网站, 2025, 45(4): 1356-1362.
[7]	朱亮, 慕京哲, 左洪强, 谷晶中, 朱付保. 基于联邦图神经网络的位置隐私保护推荐方案[J]. 《计算机应用》唯一官方网站, 2025, 45(1): 136-143.
[8]	胡健鹏, 张立臣. 面向多时间步风功率预测的深度时空网络模型[J]. 《计算机应用》唯一官方网站, 2025, 45(1): 98-105.
[9]	吴相岚, 肖洋, 刘梦莹, 刘明铭. 基于语义增强模式链接的Text-to-SQL模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2689-2695.
[10]	杨航, 李汪根, 张根生, 王志格, 开新. 基于图神经网络的多层信息交互融合算法用于会话推荐[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2719-2725.
[11]	赵宇博, 张丽萍, 闫盛, 侯敏, 高茂. 基于改进分段卷积神经网络和知识蒸馏的学科知识实体间关系抽取[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2421-2429.
[12]	杨帆, 邹窈, 朱明志, 马振伟, 程大伟, 蒋昌俊. 基于图注意力Transformer神经网络的信用卡欺诈检测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2634-2642.
[13]	唐媛, 陈艳平, 扈应, 黄瑞章, 秦永彬. 基于多尺度混合注意力卷积神经网络的关系抽取模型[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2011-2017.
[14]	毛典辉, 李学博, 刘峻岭, 张登辉, 颜文婧. 基于并行异构图和序列注意力机制的中文实体关系抽取模型[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2018-2025.
[15]	姚迅, 秦忠正, 杨捷. 生成式标签对抗的文本分类模型[J]. 《计算机应用》唯一官方网站, 2024, 44(6): 1781-1785.