基于层次结构感知的细粒度实体分类方法

doi:10.11772/j.issn.1001-9081.2021101792

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (10): 3003-3010.DOI: 10.11772/j.issn.1001-9081.2021101792

• 人工智能 • 上一篇

基于层次结构感知的细粒度实体分类方法

谢斌红, 李书宁, 张英俊

太原科技大学计算机科学与技术学院，太原 030024

收稿日期:2021-10-20 修回日期:2021-12-16 接受日期:2021-12-23 发布日期:2022-04-08 出版日期:2022-10-10
通讯作者: 李书宁
作者简介:第一联系人：谢斌红（1972—），男，山西万荣人，副教授，硕士，CCF会员，主要研究方向：智能化软件工程、机器学习
李书宁（1996—），男，山西晋中人，硕士研究生，主要研究方向：深度学习、自然语言处理 18435998756@163.com
张英俊（1969—），男，山西河津人，教授级高级工程师，硕士，CCF高级会员，主要研究方向：软件体系结构、智能软件、软件工程。
基金资助:
山西省重点研发计划项目(201803D121055)

Fine-grained entity typing method based on hierarchy awareness

Binhong XIE, Shuning LI, Yingjun ZHANG

College of Computer Science and Technology，Taiyuan University of Science and Technology，Taiyuan Shanxi 030024，China

Received:2021-10-20 Revised:2021-12-16 Accepted:2021-12-23 Online:2022-04-08 Published:2022-10-10
Contact: Shuning LI
About author:XIE Binhong， born in 1972， M. S. ， associate professor. His research interests include intelligent software engineering， machine learning.
LI Shuning， born in 1996， M. S. candidate. His research interests include deep learning， natural language processing.
ZHANG Yingjun， born in 1969， M. S. ， professorate senior engineer. His research interests include software architecture， intelligent software， software engineering.
Supported by:
Shanxi Province Key Research and Development Program(201803D121055)

摘要/Abstract

摘要：

针对现有细粒度实体分类（FGET）任务的工作多着眼于如何更好地编码实体和上下文的语义信息，而忽略了标签层次结构中标签之间的依赖关系及其本身的语义信息的问题，提出了一种基于层次结构感知的细粒度实体分类（HAFGET）方法。首先，利用基于图卷积网络（GCN）的层次结构编码器对不同层级标签之间的依赖关系进行建模，提出了基于层次结构感知的细粒度实体分类多标签注意力（HAFGET-MLA）模型和基于层次结构感知的细粒度实体分类实体特征传播（HAFGET-MFP）模型；然后，利用HAFGET-MLA模型和HAFGET-MFP模型对实体上下文特征进行层次结构感知和分类，前者通过层次编码器学习层次结构感知标签嵌入，并与实体特征通过注意力融合后进行标签分类，后者则直接将实体特征输入到层次结构编码器更新特征表示后进行分类。在FIGER、OntoNotes和KNET三个公开数据集上的实验结果表明，与基线模型相比，HAFGET-MLA模型和HAFGET-MFP模型的准确率和宏平均F1值均提升了2%以上，验证了所提方法能够有效提升分类效果。

关键词: 细粒度实体分类, 图卷积网络, 注意力机制, 条件概率, 层次结构编码器

Abstract:

Most work of Fine-Grained Entity Typing （FGET） focuses on how the semantic information of mention and context can be better coded， while ignoring the dependency between labels in the label hierarchy and their semantic information. In order to solve the above problem， a Hierarchy-Aware Fine-Grained Entity Typing （HAFGET） method was proposed. Firstly， the hierarchical encoder based on Graph Convolutional Network （GCN） was used to model the dependency between labels in different levels. Hierarchy-Aware Fine-Grained Entity Typing Multi-Label Attention （HAFGET-MLA） model and Hierarchy-Aware Fine-Grained Entity Typing Mention Feature Propagation （HAFGET-MFP） model were proposed. Then， HAFGET-MLA model and HAFGET-MFP model were carried out by using multi-label attention model and mention feature propagation model. In the former， the hierarchical perceptual label embedded was learned through the hierarchical encoder and the labels were classified after attention fusion with the mention features. In the latter， the mention features were directly input into the hierarchical encoder to update the feature representation and then classified. Experimental results on three public datasets FIGER， OntoNotes and KNET show that the accuracy and macro F1 scores of HAFGET-MLA model and HAFGET-MFP model are both improved by more than 2% compared with those of the baseline model. It is verified that the proposed method can effectively improve the typing effect.

Key words: Fine-Grained Entity Typing (FGET), Graph Convolutional Network (GCN), attention mechanism, conditional probability, hierarchical encoder

谢斌红, 李书宁, 张英俊. 基于层次结构感知的细粒度实体分类方法[J]. 计算机应用, 2022, 42(10): 3003-3010.

Binhong XIE, Shuning LI, Yingjun ZHANG. Fine-grained entity typing method based on hierarchy awareness[J]. Journal of Computer Applications, 2022, 42(10): 3003-3010.

图/表 11

参考文献 22

1	薛露，宋威. 基于动态标签的关系抽取方法［J］. 计算机应用， 2020， 40（6）： 1601-1606. 10.11772/j.issn.1001-9081.2019111959
	XUE L， SONG W. Relation extraction method based on dynamic label［J］. Journal of Computer Applications， 2020， 40（6）： 1601-1606. 10.11772/j.issn.1001-9081.2019111959
2	HOU F， WANG R L， HE J， et al. Improving entity linking through semantic reinforced entity embeddings［C］// Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2020： 6843-6848. 10.18653/v1/2020.acl-main.612
3	HE C H， TAN Z， GE B， et al. Complex question decomposition method： Based on fine-grained named entity recognition and domain Knowledge［C］// Proceedings of the 2020 IEEE International Conference on Progress in Informatics and Computing. Piscataway： IEEE， 2020： 263-267. 10.1109/pic50277.2020.9350825
4	REN X， HE W Q， QU M， et al. AFET： automatic fine-grained entity typing by hierarchical partial-label embedding［C］// Proceedings of the 2016 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2016： 1369-1378. 10.18653/v1/d16-1144
5	PENNINGTON J， SOCHER R， MANNING C D. GloVe： global vectors for word representation［C］// Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2014： 1532-1543. 10.3115/v1/d14-1162
6	WANG C H， CHO K， KIELA D. Code-switched named entity recognition with embedding attention［C］// Proceedings of the 3rd Workshop on Computational Approaches to Linguistic Code-Switching. Stroudsburg， PA： Association for Computational Linguistics， 2018：154-158. 10.18653/v1/w18-3221
7	PETERS M E， NEUMANN M， IYYER M， et al. Deep contextualized word representations［C］// Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies， Volume 1 （Long Papers）. Stroudsburg， PA： Association for Computational Linguistics， 2018： 2227-2237. 10.18653/v1/n18-1202
8	DEVLIN J， CHANG M W， LEE K， et al. BERT： pre-training of deep bidirectional transformers for language understanding［C］// Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies， Volume 1 （Long and Short Papers）. Stroudsburg， PA： Association for Computational Linguistics， 2019： 4171-4186. 10.18653/v1/n18-2
9	LI J， SUN A X， HAN J L， et al. A survey on deep learning for named entity recognition［J］. IEEE Transactions on Knowledge and Data Engineering， 2022， 34（1）： 50-70. 10.1109/tkde.2020.2981314
10	XU P， BARBOSA D. Neural fine-grained entity type classification with hierarchy aware loss［C］// Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies， Volume 1 （Long Papers）. Stroudsburg， PA： Association for Computational Linguistics， 2018： 16-25. 10.18653/v1/n18-1002
11	LIN Y， JI H. An attentive fine-grained entity typing model with latent type representation［C］// Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2019： 6197-6202. 10.18653/v1/d19-1641
12	CHEN T F， CHEN Y M， van DURME B. Hierarchical entity typing via multi-level learning to rank［C］// Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics. Stroudsburg， PA： Association for Computational Linguistics， 2020： 8465-8475. 10.18653/v1/2020.acl-main.749
13	ZHANG S， DUH K， VAN D B. Fine-grained entity typing through increased discourse context and adaptive classification thresholds［C］// Proceedings of the 7th Joint Conference on Lexical and Computational Semantics. Stroudsburg， PA： Association for Computational Linguistics， 2018：173-179. 10.18653/v1/s18-2022
14	LUONG T， PHAM H， MANNING C D. Effective approaches to attention-based neural machine translation［C］// Proceedings of the 2015 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2015： 1412-1421. 10.18653/v1/d15-1166
15	KIPF T N， WELLING M. Semi-supervised classification with graph convolutional networks［EB/OL］. （2017-02-22）［2021-08-20］.. 10.48550/arXiv.1609.02907
16	YOU R H， ZHANG Z H， WANG Z Y， et al. AttentionXML： label tree-based attention-aware deep model for high-performance extreme multi-label text classification［C/OL］// Proceedings of the 33rd Conference on Neural Information Processing Systems. ［2021-08-20］..
17	DUVENAUD D， MACLAURIN D， AGUILERA-IPARRAGUIRRE J， et al. Convolutional networks on graphs for learning molecular fingerprints［C］// Proceedings of the 28th International Conference on Neural Information Processing Systems. Cambridge： MIT Press， 2015： 2224-2232.
18	XIN J， LIN Y K， LIU Z Y， et al. Improving neural fine-grained entity typing with knowledge attention［C］// Proceedings of the 32nd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2018： 5997-6004. 10.1609/aaai.v32i1.12038
19	LING X， WELD D S. Fine-grained entity recognition［C］// Proceedings of the Twenty-Sixth AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2012： 94-100.
20	GILLICK D， LAZIC N， GANCHEV K， et al. Context-dependent fine-grained entity type tagging［EB/OL］. （2016-08-01）［2021-08-12］..
21	SHIMAOKA S， STENETORP P， INUI K， et al. An attentive neural architecture for fine-grained entity type classification［C］// Proceedings of the 5th Workshop on Automated Knowledge Base Construction. Stroudsburg， PA： Association for Computational Linguistics， 2016： 69-74. 10.18653/v1/w16-1313
22	ABHISHEK A， ANAND A， AWEKAR A. Fine-grained entity type classification by jointly learning representations and label embeddings［C］// Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics，（Volume 1）， Long Papers. Stroudsburg， PA： Association for Computational Linguistics， 2017： 797-807. 10.18653/v1/e17-1075

数据集	训练集样本数	验证集样本数	测试集样本数	实体类型数	层级数	L1	L2	L3
FIGER（GOLD）	2 690 286	10 000	563	113	2	57	56	—
KNET（dataset）（WIKI-AUTO）	981 046	99 200	99 550	74	2	6	68	—
KNET（dataset）（WIKI-MAN）	981 046	99 200	100	74	2	6	68	—
OntoNotes	251 039	2 202	8 963	87	3	4	43	40

数据集	训练集样本数	验证集样本数	测试集样本数	实体类型数	层级数	L1	L2	L3
FIGER（GOLD）	2 690 286	10 000	563	113	2	57	56	—
KNET（dataset）（WIKI-AUTO）	981 046	99 200	99 550	74	2	6	68	—
KNET（dataset）（WIKI-MAN）	981 046	99 200	100	74	2	6	68	—
OntoNotes	251 039	2 202	8 963	87	3	4	43	40

参数名	值	说明
word embedding	1 024	词向量维度
label dimension	300	标签向量维度
batch_size	200	批次大小
max_len	128	最大句子长度
epoch	20	训练批次
kernel_size	2，3，4	卷积核大小
learning_rate	0.000 1	学习率
dropout	0.2	损失率

参数名	值	说明
word embedding	1 024	词向量维度
label dimension	300	标签向量维度
batch_size	200	批次大小
max_len	128	最大句子长度
epoch	20	训练批次
kernel_size	2，3，4	卷积核大小
learning_rate	0.000 1	学习率
dropout	0.2	损失率

模型	准确率	宏平均F1值	微平均F1值
文献［21］模型	42.8	72.4	74.9
MA^［18］	41.6	72.7	75.7
KA^［18］	45.5	73.6	76.2
KAD^［18］	47.2	74.9	77.9
文献［11］模型	45.8	77.4	78.4
HAFGET-MLA	48.7	80.1	79.4
HAFGET-MFP	48.2	80.6	79.5

基于层次结构感知的细粒度实体分类方法

Fine-grained entity typing method based on hierarchy awareness

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 11

参考文献 22

相关文章 15

编辑推荐

Metrics

模型	准确率	宏平均F1值	微平均F1值
文献［21］模型	18.0	69.4	70.1
MA^［18］	26.0	71.2	72.1
KA^［18］	23.0	71.1	71.7
KAD^［18］	34.0	74.9	75.3
文献［11］模型	29.0	77.6	75.3
HAFGET-MLA	31.1	80.1	79.1
HAFGET-MFP	30.9	80.2	78.5

模型	准确率	宏平均F1值	微平均F1值
文献［21］模型	51.7	70.9	64.9
文献［4］模型	55.1	71.1	64.7
文献［22］模型	52.2	68.5	63.3
文献［13］模型	53.2	72.1	66.5
文献［11］模型	63.8	82.9	77.3
文献［12］模型（exclusive）	58.3	72.4	67.2
文献［12］模型（undefined）	58.7	73.0	68.1
HAFGET-MLA	62.1	81.3	76.2
HAFGET-MFP	59.4	78.5	73.4

模型	准确率	宏平均F1值	微平均F1值
baseline	45.80	77.40	78.40
+基于层次结构感知的GCN	46.44	78.90	78.17
+先验概率	47.19	79.31	78.59
+基于层次结构感知的注意力	48.70	80.02	79.35

编号	句子	标签
S1	0.4% from the previous month，the Bank of Japan announced Friday.	"/location""/location/country"
S2	Xinhua News Agency， Jinan， January 18th， by reporter Xueqing Dong.	"/location""/location/city"
S3	Japan's wholesale prices in September rose 3.3% from a year earlier.	"/other"
S4	With a total project investment of nearly 2.3 billion US dollars and over 1 billion US dollars of contracted foreign.	"/other""/other/currency"
S5	Strikes and mismanagement were cited， and Premier Ryzhkov warned of "tough measures" .	"/person""/person/political_figure"
S6	Since Qingdao Beer and Shandong Huaneng succeeded in respectively issuing H-shares and N-shares.	"/organization""/organization/company"

[1]	李姚舜, 刘黎志. 嵌入注意力机制的轻量级钢筋检测网络[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2900-2908.
[2]	衡红军, 徐天宝. 基于多尺度卷积和门控机制的注意力情感分析模型[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2674-2679.
[3]	魏海云, 郑茜颖, 俞金玲. 基于多尺度网络的运动模糊图像复原算法[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2838-2844.
[4]	张文涛, 王园宇, 李赛泽. 基于条件对抗网络的单幅霾图像深度估计模型[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2865-2875.
[5]	侯旭东, 滕飞, 张艺. 基于深度自编码的医疗命名实体识别模型[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2686-2692.
[6]	刘月峰, 张小燕, 郭威, 边浩东, 何滢婕. 基于优化混合模型的航空发动机剩余寿命预测方法[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2960-2968.
[7]	文凯, 唐伟伟, 熊俊臣. 基于注意力机制和有效分解卷积的实时分割算法[J]. 《计算机应用》唯一官方网站, 2022, 42(9): 2659-2666.
[8]	徐成霞, 阎庆, 李腾, 苗开超. 基于联合注意力机制的单幅图像去雨算法[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2578-2585.
[9]	李坤, 侯庆. 基于注意力机制的轻量型人体姿态估计[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2407-2414.
[10]	张丽莹, 庞春江, 王新颖, 李国亮. 基于改进YOLOv3的多尺度目标检测算法[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2423-2431.
[11]	张新宇, 丁胜, 杨治佩. 基于改进注意力机制的交通标志检测算法[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2378-2385.
[12]	玄英律, 万源, 陈嘉慧. 基于多尺度卷积和注意力机制的LSTM时间序列分类[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2343-2352.
[13]	吴明晖, 张广洁, 金苍宏. 基于多模态信息融合的时间序列预测模型[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2326-2332.
[14]	吕振虎, 许新征, 张芳艳. 基于挤压激励的轻量化注意力机制模块[J]. 《计算机应用》唯一官方网站, 2022, 42(8): 2353-2360.
[15]	刘博, 卿粼波, 王正勇, 刘美, 姜雪. 基于分块注意力机制和交互位置关系的群组活动识别[J]. 《计算机应用》唯一官方网站, 2022, 42(7): 2052-2057.

模型	准确率	宏平均F1值	微平均F1值
文献［21］模型	51.7	70.9	64.9
文献［4］模型	53.3	69.3	66.4
文献［22］模型	59.0	78.0	74.9
文献［13］模型	60.2	78.7	75.5
文献［11］模型	62.9	83.0	79.8
文献［12］模型（exclusive）	69.1	82.6	80.8
文献［12］模型（undefined）	65.5	80.5	78.1
HAFGET-MLA	66.9	86.2	82.2
HAFGET-MFP	66.3	85.7	81.0

模型	准确率	宏平均F1值	微平均F1值
文献［21］模型	51.7	70.9	64.9
文献［4］模型	53.3	69.3	66.4
文献［22］模型	59.0	78.0	74.9
文献［13］模型	60.2	78.7	75.5
文献［11］模型	62.9	83.0	79.8
文献［12］模型（exclusive）	69.1	82.6	80.8
文献［12］模型（undefined）	65.5	80.5	78.1
HAFGET-MLA	66.9	86.2	82.2
HAFGET-MFP	66.3	85.7	81.0