基于层次结构感知的细粒度实体分类方法

doi:10.11772/j.issn.1001-9081.2021101792

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (10): 3003-3010.DOI: 10.11772/j.issn.1001-9081.2021101792

所属专题：人工智能

基于层次结构感知的细粒度实体分类方法

谢斌红, 李书宁, 张英俊

太原科技大学计算机科学与技术学院，太原 030024

收稿日期:2021-10-20 修回日期:2021-12-16 接受日期:2021-12-23 发布日期:2022-04-08 出版日期:2022-10-10
通讯作者: 李书宁
作者简介:第一联系人：谢斌红（1972—），男，山西万荣人，副教授，硕士，CCF会员，主要研究方向：智能化软件工程、机器学习
李书宁（1996—），男，山西晋中人，硕士研究生，主要研究方向：深度学习、自然语言处理 18435998756@163.com
张英俊（1969—），男，山西河津人，教授级高级工程师，硕士，CCF高级会员，主要研究方向：软件体系结构、智能软件、软件工程。
基金资助:
山西省重点研发计划项目(201803D121055)

Fine-grained entity typing method based on hierarchy awareness

Binhong XIE, Shuning LI, Yingjun ZHANG

College of Computer Science and Technology，Taiyuan University of Science and Technology，Taiyuan Shanxi 030024，China

Received:2021-10-20 Revised:2021-12-16 Accepted:2021-12-23 Online:2022-04-08 Published:2022-10-10
Contact: Shuning LI
About author:XIE Binhong， born in 1972， M. S. ， associate professor. His research interests include intelligent software engineering， machine learning.
LI Shuning， born in 1996， M. S. candidate. His research interests include deep learning， natural language processing.
ZHANG Yingjun， born in 1969， M. S. ， professorate senior engineer. His research interests include software architecture， intelligent software， software engineering.
Supported by:
Shanxi Province Key Research and Development Program(201803D121055)

摘要/Abstract

摘要：

针对现有细粒度实体分类（FGET）任务的工作多着眼于如何更好地编码实体和上下文的语义信息，而忽略了标签层次结构中标签之间的依赖关系及其本身的语义信息的问题，提出了一种基于层次结构感知的细粒度实体分类（HAFGET）方法。首先，利用基于图卷积网络（GCN）的层次结构编码器对不同层级标签之间的依赖关系进行建模，提出了基于层次结构感知的细粒度实体分类多标签注意力（HAFGET-MLA）模型和基于层次结构感知的细粒度实体分类实体特征传播（HAFGET-MFP）模型；然后，利用HAFGET-MLA模型和HAFGET-MFP模型对实体上下文特征进行层次结构感知和分类，前者通过层次编码器学习层次结构感知标签嵌入，并与实体特征通过注意力融合后进行标签分类，后者则直接将实体特征输入到层次结构编码器更新特征表示后进行分类。在FIGER、OntoNotes和KNET三个公开数据集上的实验结果表明，与基线模型相比，HAFGET-MLA模型和HAFGET-MFP模型的准确率和宏平均F1值均提升了2%以上，验证了所提方法能够有效提升分类效果。

关键词: 细粒度实体分类, 图卷积网络, 注意力机制, 条件概率, 层次结构编码器

Abstract:

Most work of Fine-Grained Entity Typing （FGET） focuses on how the semantic information of mention and context can be better coded， while ignoring the dependency between labels in the label hierarchy and their semantic information. In order to solve the above problem， a Hierarchy-Aware Fine-Grained Entity Typing （HAFGET） method was proposed. Firstly， the hierarchical encoder based on Graph Convolutional Network （GCN） was used to model the dependency between labels in different levels. Hierarchy-Aware Fine-Grained Entity Typing Multi-Label Attention （HAFGET-MLA） model and Hierarchy-Aware Fine-Grained Entity Typing Mention Feature Propagation （HAFGET-MFP） model were proposed. Then， HAFGET-MLA model and HAFGET-MFP model were carried out by using multi-label attention model and mention feature propagation model. In the former， the hierarchical perceptual label embedded was learned through the hierarchical encoder and the labels were classified after attention fusion with the mention features. In the latter， the mention features were directly input into the hierarchical encoder to update the feature representation and then classified. Experimental results on three public datasets FIGER， OntoNotes and KNET show that the accuracy and macro F1 scores of HAFGET-MLA model and HAFGET-MFP model are both improved by more than 2% compared with those of the baseline model. It is verified that the proposed method can effectively improve the typing effect.

Key words: Fine-Grained Entity Typing (FGET), Graph Convolutional Network (GCN), attention mechanism, conditional probability, hierarchical encoder

谢斌红, 李书宁, 张英俊. 基于层次结构感知的细粒度实体分类方法[J]. 计算机应用, 2022, 42(10): 3003-3010.

Binhong XIE, Shuning LI, Yingjun ZHANG. Fine-grained entity typing method based on hierarchy awareness[J]. Journal of Computer Applications, 2022, 42(10): 3003-3010.

图/表 11

参考文献 22

1	薛露，宋威. 基于动态标签的关系抽取方法［J］. 计算机应用， 2020， 40（6）： 1601-1606. 10.11772/j.issn.1001-9081.2019111959
	XUE L， SONG W. Relation extraction method based on dynamic label［J］. Journal of Computer Applications， 2020， 40（6）： 1601-1606. 10.11772/j.issn.1001-9081.2019111959
2	HOU F， WANG R L， HE J， et al. Improving entity linking through semantic reinforced entity embeddings［C］// Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2020： 6843-6848. 10.18653/v1/2020.acl-main.612
3	HE C H， TAN Z， GE B， et al. Complex question decomposition method： Based on fine-grained named entity recognition and domain Knowledge［C］// Proceedings of the 2020 IEEE International Conference on Progress in Informatics and Computing. Piscataway： IEEE， 2020： 263-267. 10.1109/pic50277.2020.9350825
4	REN X， HE W Q， QU M， et al. AFET： automatic fine-grained entity typing by hierarchical partial-label embedding［C］// Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2016： 1369-1378. 10.18653/v1/d16-1144
5	PENNINGTON J， SOCHER R， MANNING C D. GloVe： global vectors for word representation［C］// Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2014： 1532-1543. 10.3115/v1/d14-1162
6	WANG C H， CHO K， KIELA D. Code-switched named entity recognition with embedding attention［C］// Proceedings of the 3rd Workshop on Computational Approaches to Linguistic Code-Switching. Stroudsburg， PA： Association for Computational Linguistics， 2018：154-158. 10.18653/v1/w18-3221
7	PETERS M E， NEUMANN M， IYYER M， et al. Deep contextualized word representations［C］// Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies， Volume 1 （Long Papers）. Stroudsburg， PA： Association for Computational Linguistics， 2018： 2227-2237. 10.18653/v1/n18-1202
8	DEVLIN J， CHANG M W， LEE K， et al. BERT： pre-training of deep bidirectional transformers for language understanding［C］// Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies， Volume 1 （Long and Short Papers）. Stroudsburg， PA： Association for Computational Linguistics， 2019： 4171-4186. 10.18653/v1/n18-2
9	LI J， SUN A X， HAN J L， et al. A survey on deep learning for named entity recognition［J］. IEEE Transactions on Knowledge and Data Engineering， 2022， 34（1）： 50-70. 10.1109/tkde.2020.2981314
10	XU P， BARBOSA D. Neural fine-grained entity type classification with hierarchy aware loss［C］// Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies， Volume 1 （Long Papers）. Stroudsburg， PA： Association for Computational Linguistics， 2018： 16-25. 10.18653/v1/n18-1002
11	LIN Y， JI H. An attentive fine-grained entity typing model with latent type representation［C］// Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2019： 6197-6202. 10.18653/v1/d19-1641
12	CHEN T F， CHEN Y M， van DURME B. Hierarchical entity typing via multi-level learning to rank［C］// Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2020： 8465-8475. 10.18653/v1/2020.acl-main.749
13	ZHANG S， DUH K， VAN D B. Fine-grained entity typing through increased discourse context and adaptive classification thresholds［C］// Proceedings of the 7th Joint Conference on Lexical and Computational Semantics. Stroudsburg， PA： Association for Computational Linguistics， 2018：173-179. 10.18653/v1/s18-2022
14	LUONG T， PHAM H， MANNING C D. Effective approaches to attention-based neural machine translation［C］// Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2015： 1412-1421. 10.18653/v1/d15-1166
15	KIPF T N， WELLING M. Semi-supervised classification with graph convolutional networks［EB/OL］. （2017-02-22）［2021-08-20］.. 10.48550/arXiv.1609.02907
16	YOU R H， ZHANG Z H， WANG Z Y， et al. AttentionXML： label tree-based attention-aware deep model for high-performance extreme multi-label text classification［C/OL］// Proceedings of the 33rd Conference on Neural Information Processing Systems. ［2021-08-20］..
17	DUVENAUD D， MACLAURIN D， AGUILERA-IPARRAGUIRRE J， et al. Convolutional networks on graphs for learning molecular fingerprints［C］// Proceedings of the 28th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2015： 2224-2232.
18	XIN J， LIN Y K， LIU Z Y， et al. Improving neural fine-grained entity typing with knowledge attention［C］// Proceedings of the 32nd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2018： 5997-6004. 10.1609/aaai.v32i1.12038
19	LING X， WELD D S. Fine-grained entity recognition［C］// Proceedings of the Twenty-Sixth AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2012： 94-100.
20	GILLICK D， LAZIC N， GANCHEV K， et al. Context-dependent fine-grained entity type tagging［EB/OL］. （2016-08-01）［2021-08-12］..
21	SHIMAOKA S， STENETORP P， INUI K， et al. An attentive neural architecture for fine-grained entity type classification［C］// Proceedings of the 5th Workshop on Automated Knowledge Base Construction. Stroudsburg， PA： Association for Computational Linguistics， 2016： 69-74. 10.18653/v1/w16-1313
22	ABHISHEK A， ANAND A， AWEKAR A. Fine-grained entity type classification by jointly learning representations and label embeddings［C］// Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics，（Volume 1）， Long Papers. Stroudsburg， PA： Association for Computational Linguistics， 2017： 797-807. 10.18653/v1/e17-1075

数据集	训练集样本数	验证集样本数	测试集样本数	实体类型数	层级数	L1	L2	L3
FIGER（GOLD）	2 690 286	10 000	563	113	2	57	56	—
KNET（dataset）（WIKI-AUTO）	981 046	99 200	99 550	74	2	6	68	—
KNET（dataset）（WIKI-MAN）	981 046	99 200	100	74	2	6	68	—
OntoNotes	251 039	2 202	8 963	87	3	4	43	40

数据集	训练集样本数	验证集样本数	测试集样本数	实体类型数	层级数	L1	L2	L3
FIGER（GOLD）	2 690 286	10 000	563	113	2	57	56	—
KNET（dataset）（WIKI-AUTO）	981 046	99 200	99 550	74	2	6	68	—
KNET（dataset）（WIKI-MAN）	981 046	99 200	100	74	2	6	68	—
OntoNotes	251 039	2 202	8 963	87	3	4	43	40

参数名	值	说明
word embedding	1 024	词向量维度
label dimension	300	标签向量维度
batch_size	200	批次大小
max_len	128	最大句子长度
epoch	20	训练批次
kernel_size	2，3，4	卷积核大小
learning_rate	0.000 1	学习率
dropout	0.2	损失率

参数名	值	说明
word embedding	1 024	词向量维度
label dimension	300	标签向量维度
batch_size	200	批次大小
max_len	128	最大句子长度
epoch	20	训练批次
kernel_size	2，3，4	卷积核大小
learning_rate	0.000 1	学习率
dropout	0.2	损失率

模型	准确率	宏平均F1值	微平均F1值
文献［21］模型	42.8	72.4	74.9
MA^［18］	41.6	72.7	75.7
KA^［18］	45.5	73.6	76.2
KAD^［18］	47.2	74.9	77.9
文献［11］模型	45.8	77.4	78.4
HAFGET-MLA	48.7	80.1	79.4
HAFGET-MFP	48.2	80.6	79.5

基于层次结构感知的细粒度实体分类方法

Fine-grained entity typing method based on hierarchy awareness

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 11

参考文献 22

相关文章 15

编辑推荐

Metrics

模型	准确率	宏平均F1值	微平均F1值
文献［21］模型	18.0	69.4	70.1
MA^［18］	26.0	71.2	72.1
KA^［18］	23.0	71.1	71.7
KAD^［18］	34.0	74.9	75.3
文献［11］模型	29.0	77.6	75.3
HAFGET-MLA	31.1	80.1	79.1
HAFGET-MFP	30.9	80.2	78.5

模型	准确率	宏平均F1值	微平均F1值
文献［21］模型	51.7	70.9	64.9
文献［4］模型	55.1	71.1	64.7
文献［22］模型	52.2	68.5	63.3
文献［13］模型	53.2	72.1	66.5
文献［11］模型	63.8	82.9	77.3
文献［12］模型（exclusive）	58.3	72.4	67.2
文献［12］模型（undefined）	58.7	73.0	68.1
HAFGET-MLA	62.1	81.3	76.2
HAFGET-MFP	59.4	78.5	73.4

模型	准确率	宏平均F1值	微平均F1值
baseline	45.80	77.40	78.40
+基于层次结构感知的GCN	46.44	78.90	78.17
+先验概率	47.19	79.31	78.59
+基于层次结构感知的注意力	48.70	80.02	79.35

编号	句子	标签
S1	0.4% from the previous month，the Bank of Japan announced Friday.	"/location""/location/country"
S2	Xinhua News Agency， Jinan， January 18th， by reporter Xueqing Dong.	"/location""/location/city"
S3	Japan's wholesale prices in September rose 3.3% from a year earlier.	"/other"
S4	With a total project investment of nearly 2.3 billion US dollars and over 1 billion US dollars of contracted foreign.	"/other""/other/currency"
S5	Strikes and mismanagement were cited， and Premier Ryzhkov warned of "tough measures" .	"/person""/person/political_figure"
S6	Since Qingdao Beer and Shandong Huaneng succeeded in respectively issuing H-shares and N-shares.	"/organization""/organization/company"

[1]	赵志强, 马培红, 黑新宏. 基于双重注意力机制的人群计数方法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2886-2892.
[2]	薛桂香, 王辉, 周卫峰, 刘瑜, 李岩. 基于知识图谱和时空扩散图卷积网络的港口交通流量预测[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2952-2957.
[3]	秦璟, 秦志光, 李发礼, 彭悦恒. 基于概率稀疏自注意力神经网络的重性抑郁疾患诊断[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2970-2974.
[4]	李力铤, 华蓓, 贺若舟, 徐况. 基于解耦注意力机制的多变量时序预测模型[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2732-2738.
[5]	庞川林, 唐睿, 张睿智, 刘川, 刘佳, 岳士博. D2D通信系统中基于图卷积网络的分布式功率控制算法[J]. 《计算机应用》唯一官方网站, 2024, 44(9): 2855-2862.
[6]	薛凯鹏, 徐涛, 廖春节. 融合自监督和多层交叉注意力的多模态情感分析网络[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2387-2392.
[7]	汪雨晴, 朱广丽, 段文杰, 李书羽, 周若彤. 基于交互注意力机制的心理咨询文本情感分类模型[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2393-2399.
[8]	高鹏淇, 黄鹤鸣, 樊永红. 融合坐标与多头注意力机制的交互语音情感识别[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2400-2406.
[9]	刘禹含, 吉根林, 张红苹. 基于骨架图与混合注意力的视频行人异常检测方法[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2551-2557.
[10]	李钟华, 白云起, 王雪津, 黄雷雷, 林初俊, 廖诗宇. 基于图像增强的低照度人脸检测[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2588-2594.
[11]	莫尚斌, 王文君, 董凌, 高盛祥, 余正涛. 基于多路信息聚合协同解码的单通道语音增强[J]. 《计算机应用》唯一官方网站, 2024, 44(8): 2611-2617.
[12]	熊武, 曹从军, 宋雪芳, 邵云龙, 王旭升. 基于多尺度混合域注意力机制的笔迹鉴别方法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2225-2232.
[13]	李欢欢, 黄添强, 丁雪梅, 罗海峰, 黄丽清. 基于多尺度时空图卷积网络的交通出行需求预测[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2065-2072.
[14]	毛典辉, 李学博, 刘峻岭, 张登辉, 颜文婧. 基于并行异构图和序列注意力机制的中文实体关系抽取模型[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2018-2025.
[15]	刘丽, 侯海金, 王安红, 张涛. 基于多尺度注意力的生成式信息隐藏算法[J]. 《计算机应用》唯一官方网站, 2024, 44(7): 2102-2109.

模型	准确率	宏平均F1值	微平均F1值
文献［21］模型	51.7	70.9	64.9
文献［4］模型	53.3	69.3	66.4
文献［22］模型	59.0	78.0	74.9
文献［13］模型	60.2	78.7	75.5
文献［11］模型	62.9	83.0	79.8
文献［12］模型（exclusive）	69.1	82.6	80.8
文献［12］模型（undefined）	65.5	80.5	78.1
HAFGET-MLA	66.9	86.2	82.2
HAFGET-MFP	66.3	85.7	81.0

模型	准确率	宏平均F1值	微平均F1值
文献［21］模型	51.7	70.9	64.9
文献［4］模型	53.3	69.3	66.4
文献［22］模型	59.0	78.0	74.9
文献［13］模型	60.2	78.7	75.5
文献［11］模型	62.9	83.0	79.8
文献［12］模型（exclusive）	69.1	82.6	80.8
文献［12］模型（undefined）	65.5	80.5	78.1
HAFGET-MLA	66.9	86.2	82.2
HAFGET-MFP	66.3	85.7	81.0