知识图谱增强的科普文本分类模型

doi:10.11772/j.issn.1001-9081.2021071278

《计算机应用》唯一官方网站 ›› 2022, Vol. 42 ›› Issue (4): 1072-1078.DOI: 10.11772/j.issn.1001-9081.2021071278

• CCF第36届中国计算机应用大会 (CCF NCCA 2021) • 上一篇下一篇

知识图谱增强的科普文本分类模型

唐望径¹^,², 许斌¹(), 仝美涵¹, 韩美奂¹^,³, 王黎明⁴, 钟琦⁴

^1.清华大学计算机科学与技术系，北京 100084
^2.北京交通大学计算机与信息技术学院，北京 100044
^3.清华大学深圳国际研究生院，广东深圳 518055
^4.中国科普研究所，北京 100081

收稿日期:2021-07-16 修回日期:2021-09-07 接受日期:2021-09-07 发布日期:2022-04-15 出版日期:2022-04-10
通讯作者: 许斌
作者简介:唐望径（1996—），男，海南海口人，硕士研究生，CCF会员，主要研究方向：自然语言处理、知识图谱
仝美涵（1995—），女，河南三门峡人，博士研究生，CCF会员，主要研究方向：知识工程、信息抽取
韩美奂（1997—），女，内蒙古赤峰人，硕士研究生，主要研究方向：知识工程、信息抽取
王黎明（1982—），男，内蒙古巴彦淖尔人，副研究员，博士，主要研究方向：科学传播的社会网络分析方法
钟琦（1970—），女，山西太原人，研究员，硕士，主要研究方向：大众传媒上的科学传播评估。

Popular science text classification model enhanced by knowledge graph

Wangjing TANG¹^,², Bin XU¹(), Meihan TONG¹, Meihuan HAN¹^,³, Liming WANG⁴, Qi ZHONG⁴

^1.Department of Computer Science and Technology，Tsinghua University，Beijing 100084，China
^2.School of Computer and Information Technology，Beijing Jiaotong University，Beijing 100044，China
^3.Tsinghua Shenzhen International Graduate School，Shenzhen Guangdong 518055，China
^4.China Research Institute for Science Popularization，Beijing 100081，China

Received:2021-07-16 Revised:2021-09-07 Accepted:2021-09-07 Online:2022-04-15 Published:2022-04-10
Contact: Bin XU
About author:TANG Wangjing， born in 1996， M.S. candidate. His research interests include natural language processing， knowledge graph.
TONG Meihan， born in 1995， Ph. D. candidate. Her research interests include knowledge engineering， information extraction.
HAN Meihuan， born in 1997， M. S. candidate. Her research interests include knowledge engineering， information extraction.
WANG Liming， born in 1982， Ph. D.， associate research fellow. His research interests include social network analysis method to scientific communication.
ZHONG Qi， born in 1970， M.S.， research fellow. Her research interests include evaluation of science communication on mass media.

摘要/Abstract

摘要：

科普文本分类是将科普文章按照科普分类体系进行划分的任务。针对科普文章篇幅超过千字，模型难以聚焦关键信息，造成传统模型分类性能不佳的问题，提出一种结合知识图谱进行两级筛选的科普长文本分类模型，来减少主题无关信息的干扰，提升模型的分类性能。首先，采用四步法构建科普领域的知识图谱；然后，将该知识图谱作为距离监督器，并通过训练句子过滤器来过滤掉无关信息；最后，使用注意力机制对过滤后的句子集做进一步的信息筛选，并实现基于注意力的主题分类模型。在所构建的科普文本分类数据集（PSCD）上的实验结果表明，基于领域知识图谱的知识增强的文本分类算法模型具有更高的F1-Score，相较于TextCNN模型和BERT模型，在F1-Score上分别提升了2.88个百分点和1.88个百分点，验证了知识图谱对于长文本信息筛选的有效性。

关键词: 科普文本分类, 知识图谱, 两级筛选, 长文本分类, 注意力

Abstract:

Popular science text classification aims to classify the popular science articles according to the popular science classification system. Concerning the problem that the length of popular science articles often exceeds 1 000 words， which leads to the model hard to focus on key points and causes poor classification performance of the traditional models， a model for long text classification combining knowledge graph to perform two-level screening was proposed to reduce the interference of topic-irrelevant information and improve the performance of model classification. First， a four-step method was used to construct a knowledge graph for the domains of popular science. Then， this knowledge graph was used as a distance monitor to filter out irrelevant information through training sentence filters. Finally， the attention mechanism was used to further filter the information of the filtered sentence set， and the attention-based topic classification model was completed. Experimental results on the constructed Popular Science Classification Dataset （PSCD） show that the text classification algorithm model based on the domain knowledge graph information enhancement has higher F1-Score. Compared with the TextCNN model and the BERT （Bidirectional Encoder Representations from Transformers） model， the proposed model has the F1-Score increased by 2.88 percentage points and 1.88 percentage points respectively， verifying the effectiveness of knowledge graph to long text information screening.

中图分类号:

TP18

唐望径, 许斌, 仝美涵, 韩美奂, 王黎明, 钟琦. 知识图谱增强的科普文本分类模型[J]. 计算机应用, 2022, 42(4): 1072-1078.

Wangjing TANG, Bin XU, Meihan TONG, Meihuan HAN, Liming WANG, Qi ZHONG. Popular science text classification model enhanced by knowledge graph[J]. Journal of Computer Applications, 2022, 42(4): 1072-1078.

图/表 8

图1 知识图谱增强的科普文本分类模型架构

Fig. 1 Achitecture of popular science text classification model enhanced by knowledge graph

图2 模型流程

Fig. 2 Model flowchart

图3 句子过滤器结构

Fig. 3 Structure of sentence filter

图4 注意力机制结构

Fig. 4 Structure of attention mechanism

表1 数据集详细情况

Tab. 1 Dataset details

类别	样本数	平均长度	最长长度	最短长度
基础学科	3 156	2 711	26 722	120
健康科普	2 935	2 459	19 970	102
军事科普	1 074	2 661	22 750	130
科学文化	1 230	1 976	15 408	182
空间科学	900	2 641	19 646	134
农业科普	425	1 720	16 899	207
生活百科	232	2 906	19 962	148
生态环境	857	3 037	16 816	148
信息科技	1 943	3 003	24 504	148
医学科普	620	1 063	18 860	102

图5 输入文本长度分布统计情况

Fig. 5 Statistics on length distribution of input text

表2 PSCD上各模型的表现 (%)

Tab. 2 Performance of each model on PSCD

模型	平均准确率	平均召回率	平均F1值
FastText	82.22	76.54	78.88
TextCNN	82.84	79.51	80.71
TextRNN	61.42	55.46	56.69
TextRCNN	85.24	76.48	79.62
BERT	85.53	79.47	81.71
本文模型	85.47	82.65	83.59

图6 错误案例

Fig. 6 Error case

参考文献 22

1	庞观松，蒋盛益. 文本自动分类技术研究综述［J］. 情报理论与实践， 2012， 35（2）：123-128.
	PANG G S， JIANG S Y. A summary of research on automatic text classification technologies［J］. Information Studies： Theory and Application， 2012， 35（2）： 123-128.
2	LEWIS D D. Naive （Bayes） at forty： the independence assumption in information retrieval［C］// Proceeding of the 1998 European Conference on Machine Learning， LNCS 1398. Berlin： Springer， 1998： 4-15.
3	CORTES C， VAPNIK V. Support-vector networks［J］. Machine Learning， 1995， 20（3）： 273-297. 10.1007/bf00994018
4	COVER T M， HART P E. Nearest neighbor pattern classification［J］. IEEE Transactions on Information Theory， 1967， 13（1）： 21-27. 10.1109/tit.1967.1053964
5	DEVLIN J， CHANG M W， LEE K， et al. BERT： pre-training of deep bidirectional transformers for language understanding［C］// Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies， Volume 1 （Long and Short Papers）. Stroudsburg， PA： Association for Computational Linguistics， 2019： 4171-4186. 10.18653/v1/n19-1423
6	KIM Y. Convolutional neural networks for sentence classification［C］// Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2014： 1746-1751. 10.3115/v1/d14-1181
7	杨玉基，许斌，胡家威，等. 一种准确而高效的领域知识图谱构建方法［J］. 软件学报， 2018， 29（10）：2931-2947. 10.13328/j.cnki.jos.005552
	YANG Y J， XU B， HU J W， et al. Accurate and efficient method for constructing domain knowledge graph［J］. Journal of Software， 2018， 29（10）：2931-2947. 10.13328/j.cnki.jos.005552
8	JOHNSON R， ZHANG T. Deep pyramid convolutional neural networks for text categorization［C］// Proceedings of the 55th Annual Meeting of the Association for Computational Linguistics （Volume 1： Long Papers）. Stroudsburg， PA： Association for Computational Linguistics， 2017： 562-570. 10.18653/v1/p17-1052
9	HOCHREITER S， SCHMIDHUBER J. Long short-term memory［J］. Neural Computation， 1997， 9（8）： 1735-1780. 10.1162/neco.1997.9.8.1735
10	LAI S W， XU L H， LIU K， et al. Recurrent convolutional neural networks for text classification［C］// Proceeding of the 29th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2015： 2267-2273. 10.1609/aaai.v33i01.33017370
11	YANG Z C， YANG D Y， DYER C， et al. Hierarchical attention networks for document classification［C］// Proceedings of the 2016 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg， PA： Association for Computational Linguistics， 2016： 1480-1489. 10.18653/v1/n16-1174
12	CHO K， van MERRIËNBOER B， GU̇LÇEHRE Ç， et al. Learning phrase representations using RNN encoder-decoder for statistical machine translation［C］// Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2014： 1724-1734. 10.3115/v1/d14-1179
13	卢玲，杨武，王远伦，等. 结合注意力机制的长文本分类方法［J］. 计算机应用， 2018， 38（5）：1272-1277. 10.11772/j.issn.1001-9081.2017112652
	LU L， YANG W， WANG Y L， et al. Long text classification combined with attention mechanism［J］. Journal of Computer Applications， 2018， 38（5）：1272-1277. 10.11772/j.issn.1001-9081.2017112652
14	LE Q， MIKOLOV T. Distributed representations of sentences and documents［C］// Proceedings of the 31st International Conference on International Conference on Machine Learning. New York： JMLR.org， 2014： 1188-1196．
15	CHOI G， OH S， KIM H. Improving document-level sentiment classification using importance of sentences［J］. Entropy， 2020， 22（12）： No.1336. 10.3390/e22121336
16	LAN Z Z， CHEN M D， GOODMAN S， et al. ALBERT： a lite BERT for self-supervised learning of language representations［EB/OL］. （2020-02-09）［2021-05-28］.. 10.48550/arXiv.1909.11942
17	SALTON G， YU C T. On the construction of effective vocabularies for information retrieval［J］. ACM SIGPLAN Notices， 1975， 10（1）：48-60. 10.1145/951787.951766
18	MIHALCEA R， TARAU P. TextRank： bringing order into text［C］// Proceedings of the 2004 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2004： 404-411. 10.3115/1220355.1220517
19	MACQUEEN J. Some methods for classification and analysis of multivariate observations［C］// Proceedings of the 5th Berkeley Symposium on Mathematical Statistics and Probability. Berkeley and Los Angeles， CA： University of California Press， 1967： 281-297.
20	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need［C］// Proceeding of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017： 6000-6010. 10.1016/s0262-4079(17)32358-8
21	JOULIN A， GRAVE E， BOJANOWSKI P， et al. Bag of tricks for efficient text classification［C］// Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics： Volume 2， Short Papers. Stroudsburg， PA： Association for Computational Linguistics， 2017： 427-431. 10.18653/v1/e17-2068
22	LIU P F， QIU X P， HUANG X J. Recurrent neural network for text classification with multi-task learning［C］// Proceedings of the 25th International Joint Conference on Artificial Intelligence. California： IJCAI Organization， 2016： 2873-2879. 10.18653/v1/d16-1012

[1]	张锦, 屈佩琪, 孙程, 罗蒙. 基于改进YOLOv5的安全帽佩戴检测算法[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1292-1300.
[2]	蒋雯静, 熊熙, 李中志, 李斌勇. 基于无采样协作知识图网络的推荐系统[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1057-1064.
[3]	董永峰, 孙跃华, 高立超, 韩鹏, 季海鹏. 基于改进一维卷积和双向长短期记忆神经网络的故障诊断方法[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1207-1215.
[4]	张素琪, 王鑫鑫, 佘世耀, 顾军华. 融合多时间尺度和特征加强的知识图谱推荐模型[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1093-1098.
[5]	顾军华, 樊帅, 李宁宁, 张素琪. 基于知识图偏好注意力网络的长短期推荐模型及其更新方法[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1079-1086.
[6]	刘志华, 陈文洁, 陈爱斌. 基于自注意力机制时频谱同源特征融合的鸟鸣声分类[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1260-1268.
[7]	顾军华, 王锐, 李宁宁, 张素琪. 融合协同过滤信息的知识图注意力网络[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1087-1092.
[8]	余晓鹏, 何儒汉, 黄晋, 张俊杰, 胡新荣. 基于改进Inception结构的知识图谱嵌入模型[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1065-1071.
[9]	焦守龙, 段友祥, 孙歧峰, 庄子浩, 孙琛皓. 融合实体描述信息和邻居节点特征的知识表示学习方法[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1050-1056.
[10]	滕腾, 潘海为, 张可佳, 牟雪莲, 张锡明, 陈伟鹏. 支持中文医疗问答的基于注意力机制的栈卷积神经网络模型[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1125-1130.
[11]	胡新荣, 张君宇, 彭涛, 刘军平, 何儒汉, 何凯. 级联跨域特征融合的虚拟试衣[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1269-1274.
[12]	罗圣钦, 陈金怡, 李洪均. 基于注意力机制的多尺度残差UNet实现乳腺癌灶分割[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 818-824.
[13]	于婉莹, 梁美玉, 王笑笑, 陈徵, 曹晓雯. 基于深度注意力网络的课堂教学视频中学生表情识别与智能教学评估[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 743-749.
[14]	陈亭秀, 尹建芹. 基于关键帧筛选网络的视听联合动作识别[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 731-735.
[15]	朱文球, 邹广, 曾志高. 融合层次特征和混合注意力的目标跟踪算法[J]. 《计算机应用》唯一官方网站, 2022, 42(3): 833-843.

知识图谱增强的科普文本分类模型

Popular science text classification model enhanced by knowledge graph

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 8

参考文献 22

相关文章 15

编辑推荐

Metrics