General text classification model combining attention and cropping mechanism

doi:10.11772/j.issn.1001-9081.2022071071

Journal of Computer Applications ›› 2023, Vol. 43 ›› Issue (8): 2396-2405.DOI: 10.11772/j.issn.1001-9081.2022071071

Special Issue: 人工智能

• Artificial intelligence • Previous Articles Next Articles

General text classification model combining attention and cropping mechanism

Yumeng CUI, Jingya WANG, Xiaowen LIU, Shangyi YAN, Zhizhong TAO

School of Information and Cyber Security，People’s Public Security University of China，Beijing 100038，China

Received:2022-07-23 Revised:2022-09-24 Accepted:2022-09-28 Online:2023-01-15 Published:2023-08-10
Contact: Jingya WANG
About author:CUI Yumeng， born in 1998， M. S. candidate. His research interests include named entity recognition， text classification.
LIU Xiaowen， born in 1997， M. S. candidate. His research interests include digital image processing， neural network.
YAN Shangyi， born in 1998， M. S. candidate. His research interests include natural language processing， text classification.
TAO Zhizhong， born in 1997， M. S. candidate. His research interests include deep learning， image style transfer.
Supported by:
National Social Science Foundation of China(20AZD114)

融合注意力和裁剪机制的通用文本分类模型

崔雨萌, 王靖亚, 刘晓文, 闫尚义, 陶知众

中国人民公安大学信息网络安全学院，北京 100038

通讯作者: 王靖亚
作者简介:崔雨萌（1998—），男，吉林长春人，硕士研究生，CCF会员，主要研究方向：命名实体识别、文本分类
刘晓文（1997—），男，山东东平人，硕士研究生，主要研究方向：数字图像处理、神经网络
闫尚义（1998—），男，河北保定人，硕士研究生，主要研究方向：自然语言处理、文本分类
陶知众（1997—），男，山东临沂人，硕士研究生，主要研究方向：深度学习、图像风格转换。
基金资助:
国家社会科学基金资助项目(20AZD114)

Abstract

Abstract:

Focused on the issue that current classification models are generally effective on texts of one length， and a large number of long and short texts occur in actual scenes in a mixed way， a General Long and Short Text Classification Model based on Hybrid Neural Network （GLSTCM-HNN） was proposed. Firstly， BERT （Bidirectional Encoder Representations from Transformers） was applied to encode texts dynamically. Then， convolution operations were used to extract local semantic information， and a Dual Channel ATTention mechanism （DCATT） was built to enhance key text regions. Meanwhile， Recurrent Neural Network （RNN） was utilized to capture global semantic information， and a Long Text Cropping Mechanism （LTCM） was established to filter critical texts. Finally， the extracted local and global features were fused and input into Softmax function to obtain the output category. In comparison experiments on four public datasets， compared with the baseline model （BERT-TextCNN） and the best performing comparison model BERT， GLSTCM-HNN has the F1 scores increased by up to 3.87 and 5.86 percentage points respectively. In two generality experiments on mixed texts， compared with the generality model — CNN-BiLSTM/BiGRU hybrid text classification model based on Attention （CBLGA） proposed by existing research， GLSTCM-HNN has the F1 scores increased by 6.63 and 37.22 percentage points respectively. Experimental results show that the proposed model can improve the accuracy of text classification task effectively， and has generality of classification on texts with different lengths from training data and on long and short mixed texts.

Key words: deep learning, text classification, attention mechanism, cropping mechanism, general model

摘要：

针对当前分类模型通常仅对一种长度文本有效，而在实际场景中长短文本大量混合存在的问题，提出了一种基于混合神经网络的通用型长短文本分类模型（GLSTCM-HNN）。首先，利用BERT（Bidirectional Encoder Representations from Transformers）对文本进行动态编码；然后，使用卷积操作提取局部语义信息，并构建双通道注意力机制（DCATT）对关键文本区域增强；同时，使用循环神经网络（RNN）捕获全局语义信息，并建立长文本裁剪机制（LTCM）来筛选重要文本；最后，将提取到的局部和全局特征进行融合降维，并输入到Softmax函数里以得到类别输出。在4个公开数据集上的对比实验中，与基线模型（BERT-TextCNN）和性能最优的对比模型（BERT）相比，GLSTCM-HNN的F1分数至多分别提升了3.87和5.86个百分点；在混合文本上的两组通用性实验中，GLSTCM-HNN的F1分数较已有研究提出的通用型模型——基于Attention的改进CNN-BiLSTM/BiGRU混联文本分类模型（CBLGA）分别提升了6.63和37.22个百分点。实验结果表明，所提模型能够有效提高文本分类任务的准确性，并具有在与训练数据长度不同的文本上以及在长短混合文本上分类的通用性。

关键词: 深度学习, 文本分类, 注意力机制, 裁剪机制, 通用型模型

CLC Number:

TP391.1

Yumeng CUI, Jingya WANG, Xiaowen LIU, Shangyi YAN, Zhizhong TAO. General text classification model combining attention and cropping mechanism[J]. Journal of Computer Applications, 2023, 43(8): 2396-2405.

崔雨萌, 王靖亚, 刘晓文, 闫尚义, 陶知众. 融合注意力和裁剪机制的通用文本分类模型[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2396-2405.

Figures/Tables 14

References 55

1	LIU G， GUO J B. Bidirectional LSTM with attention mechanism and convolutional layer for text classification［J］. Neurocomputing， 2019， 337： 325-338. 10.1016/j.neucom.2019.01.078
2	谢金宝，李嘉辉，康守强，等. 基于循环卷积多任务学习的多领域文本分类方法［J］. 电子与信息学报， 2021， 43（8）：2395-2403. 10.11999/JEIT200869
	XIE J B， LI J H， KANG S Q， et al. A multi-domain text classification method based on recurrent convolution multi-task learning［J］. Journal of Electronics and Information Technology， 2021， 43（8）： 2395-2403. 10.11999/JEIT200869
3	WATANABE A， SASANO R， TAKAMURA H， et al. Generating personalized snippets for web page recommender systems［C］// Proceedings of the 2014 IEEE/WIC/ACM International Joint Conferences on Web Intelligence and Intelligent Agent Technologies - Volume 2. Piscataway： IEEE， 2014： 218-225. 10.1109/wi-iat.2014.101
4	TAI K S， SOCHER R， MANNING C D. Improved semantic representations from tree-structured long short-term memory networks［C］// Proceedings of the 53rd Annual Meeting of the Association for Computational Linguistics and the 7th International Joint Conference on Natural Language Processing （Volume 1： Long Papers）. Stroudsburg， PA： ACL， 2015： 1556-1566. 10.3115/v1/p15-1150
5	ZHU X D， SOBIHANI P， GUO H Y. Long short-term memory over recursive structures［C］// Proceedings of the 32nd International Conference on Machine Learning. New York： JMLR.org， 2015： 1604-1612.
6	D’ANDREA E， DUCANGE P， BECHINI A， et al. Monitoring the public opinion about the vaccination topic from tweets analysis［J］. Expert Systems with Applications， 2019， 116： 209-226. 10.1016/j.eswa.2018.09.009
7	DESMET B， HOSTE V. Online suicide prevention through optimised text classification［J］. Information Sciences， 2018， 439/440： 61-78. 10.1016/j.ins.2018.02.014
8	PEREIRA-KOHATSU J C， QUIJANO-SÁNCHEZ L， LIBERATORE F， et al. Detecting and monitoring hate speech in Twitter［J］. Sensors， 2019， 19（21）： No.4654. 10.3390/s19214654
9	LI C B， ZHAN G H， LI Z H. News text classification based on improved Bi-LSTM-CNN［C］// Proceedings of the 9th International Conference on Information Technology in Medicine and Education. Piscataway： IEEE， 2018： 890-893. 10.1109/itme.2018.00199
10	PENG F C， SCHUURMANS D. Combining naive Bayes and n-gram language models for text classification［C］// Proceedings of the 2003 European Conference on Information Retrieval， LNCS 2633. Berlin： Springer， 2003： 335-350.
11	LI L P， WEINBERG C R， DARDEN T A， et al. Gene selection for sample classification based on gene expression data： study of sensitivity to choice of parameters of the GA/KNN method［J］. Bioinformatics， 2001， 17（12）： 1131-1142. 10.1093/bioinformatics/17.12.1131
12	MANEVITZ L M， YOUSEF M. One-class SVMs for document classification［J］. Journal of Machine Learning Research， 2001， 2： 139-154.
13	LIU P， ZHAO H H， TENG J Y， et al. Parallel naive Bayes algorithm for large-scale Chinese text classification based on spark［J］. Journal of Central South University， 2019， 26（1）： 1-12. 10.1007/s11771-019-3978-x
14	KHAMAR K. Short text classification using kNN based on distance function［J］. International Journal of Advanced Research in Computer and Communication Engineering， 2013， 2（4）： 1916-1919.
15	KIM Y. Convolutional neural networks for sentence classification［C］// Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： ACL， 2014：1746-1751. 10.3115/v1/d14-1181
16	ZAREMBA W， SUTSKEVER I， VINYALS O. Recurrent neural network regularization［EB/OL］. （2015-02-19）［2022-07-09］..
17	CONNEAU A， SCHWENK H， BARRAULT L， et al. Very deep convolutional networks for text classification［C］// Proceedings of the 15th Conference of the European Chapter of the Association for Computational Linguistics： Volume 1， Long Papers. Stroudsburg， PA： ACL， 2017： 1107-1116. 10.18653/v1/e17-1104
18	康雁，李浩，梁文韬，等. 针对文本情感分类任务的textSE-ResNeXt集成模型［J］. 计算机工程与应用， 2020， 56（7）：205-209.
	KANG Y， LI H， LIANG W T， et al. textSE-ResNeXt integration model for text sentiment classification tasks［J］. Computer Engineering and Applications， 2020， 56（7）： 205-209.
19	YANG W S， LI J Y， FUKUMOTO F， et al. MSCNN： a hybrid-Siamese convolutional neural network for extremely imbalanced multi-label text classification［C］// Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： ACL， 2020： 6716-6722. 10.18653/v1/2020.emnlp-main.545
20	KALCHBRENNER N， GREFENSTETTE E， BLUNSOM P. A convolutional neural network for modelling sentences［C］// Proceedings of the 52nd Annual Meeting of the Association for Computational Linguistics （Volume 1： Long Papers）. Stroudsburg， PA： ACL， 2014： 655-665. 10.3115/v1/p14-1062
21	HOCHREITER S， SCHMIDHUBER J. Long short-term memory［J］. Neural Computation， 1997， 9（8）： 1735-1780. 10.1162/neco.1997.9.8.1735
22	CHUNG J， GULCEHRE C， CHO K， et al. Empirical evaluation of gated recurrent neural networks on sequence modeling［EB/OL］. （2014-12-11）［2022-07-10］.. 10.1007/978-3-030-89929-5_3
23	SCHUSTER M， PALIWAL K K. Bidirectional recurrent neural networks［J］. IEEE Transactions on Signal Processing， 1997， 45（11）： 2673-2681. 10.1109/78.650093
24	XU G X， MENG Y T， QIU X Y， et al. Sentiment analysis of comment texts based on BiLSTM［J］. IEEE Access， 2019， 7： 51522-51532. 10.1109/access.2019.2909919
25	王伟，孙玉霞，齐庆杰，等. 基于BiGRU-attention神经网络的文本情感分类模型［J］. 计算机应用研究， 2019， 36（12）：3558-3564.
	WANG W， SUN Y X， QI Q J， et al. Text sentiment classification model based on BiGRU-attention neural network［J］. Application Research of Computers， 2019， 36（12）： 3558-3564.
26	KOWSARI K， JAFARI MEIMANDI K， HEIDARYSAFA M， et al. Text classification algorithms： a survey［J］. Information， 2019， 10（4）： No.150. 10.3390/info10040150
27	LAI S W， XU L H， LIU K， et al. Recurrent convolutional neural networks for text classification［C］// Proceedings of the 29th AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2015： 2267-2273. 10.1609/aaai.v29i1.9513
28	曹梦舟，张艳. 基于卷积-长短期记忆网络的电能质量扰动分类［J］. 电力系统保护与控制， 2020， 48（2）：86-92.
	CAO M Z， ZHANG Y. Classification for power quality disturbances based on CNN-LSTM network［J］. Power System Protection and Control， 2020， 48（2）： 86-92.
29	LUO L X. Network text sentiment analysis method combining LDA text representation and GRU-CNN［J］. Personal and Ubiquitous Computing， 2019， 23（3/4）： 405-412. 10.1007/s00779-018-1183-9
30	LU H B， LIU X B， YIN Y C， et al. A patent text classification model based on multivariate neural network fusion［C］// Proceedings of the 6th International Conference on Soft Computing and Machine Intelligence. Piscataway： IEEE， 2019： 61-65. 10.1109/iscmi47871.2019.9004335
31	韩永鹏. 面向长短混合场景下的文本分类方法研究［D］. 北京：北京工业大学， 2020：37-51. 10.7498/aps.69.20191162
	HAN Y P. Research on text classification method in mixed long and short scenes［D］. Beijing： Beijing University of Technology， 2020： 37-51. 10.7498/aps.69.20191162
32	MIKOLOV T， SUTSKEVER I， CHEN K， et al. Distributed representations of words and phrases and their compositionality［C］// Proceedings of the 26th International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2013： 3111-3119.
33	PENNINGTON J， SOCHER R， MANNING C D. GloVe： global vectors for word representation［C］// Proceedings of the 2014 Conference on Empirical Methods in Natural Language Processing. Stroudsburg， PA： ACL， 2014： 1532-1543. 10.3115/v1/d14-1162
34	PETERS M E， NEUMANN M， IYYER M， et al. Deep contextualized word representations［C］// Proceedings of the 2018 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies. Stroudsburg， PA： ACL， 2018： 2227-2237. 10.18653/v1/n18-1202
35	DEVLIN J， CHANG M W， LEE K， et al. BERT： pre-training of deep bidirectional transformers for language understanding［C］// Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics： Human Language Technologies， Volume 1 （Long and Short Papers）. Stroudsburg， PA： ACL， 2019： 4171-4186. 10.18653/v1/n18-2
36	DENG J F， CHENG L L， WANG Z W. Attention-based BiLSTM fused CNN with gating mechanism model for Chinese long text classification［J］. Computer Speech and Language， 2021， 68： No.101182. 10.1016/j.csl.2020.101182
37	YAO L， JIN Z， MAO C S， et al. Traditional Chinese medicine clinical records classification with BERT and domain specific corpora［J］. Journal of the American Medical Informatics Association， 2019， 26（12）： 1632-1636. 10.1093/jamia/ocz164
38	孙红，陈强越. 融合BERT词嵌入和注意力机制的中文文本分类［J］.小型微型计算机系统， 2022， 43（1）：22-26. 10.3969/j.issn.1000-1220.2022.01.004
	SUN H， CHEN Q Y. Chinese text classification based on BERT and attention［J］. Journal of Chinese Computer Systems， 2022， 43（1）： 22-26. 10.3969/j.issn.1000-1220.2022.01.004
39	刘凯洋. 结合Bert字向量和卷积神经网络的新闻文本分类方法［J］. 电脑知识与技术， 2020， 16（1）：187-188.
	LIU K Y. A Chinese news text classification method of combining Bert character vector and convolutional neural networks［J］. Computer Knowledge and Technology， 2020， 16（1）： 187-188.
40	KASTNER S， UNGERLEIDER L G. Mechanism of visual attention in the human cortex［J］. Annual Review of Neuroscience， 2000， 23： 315-341. 10.1146/annurev.neuro.23.1.315
41	BAHDANAU D， CHO K， BENGIO Y. Neural machine translation by jointly learning to align and translate［EB/OL］. （2016-05-19）［2022-07-11］.. 10.1017/9781108608480.003
42	XIE J B， HOU Y J， WANG Y J， et al. Chinese text classification based on attention mechanism and feature-enhanced fusion neural network［J］. Computing， 2020， 102（3）： 683-700. 10.1007/s00607-019-00766-9
43	TAO H Q， TONG S W， ZHAO H K， et al. A radical-aware attention-based model for Chinese text classification［C］// Proceedings of the 33rd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2019： 5125-5132. 10.1609/aaai.v33i01.33015125
44	QIAO X， PENG C， LIU Z， et al. Word-character attention model for Chinese text classification［J］. International Journal of Machine Learning and Cybernetics， 2019， 10（12）： 3521-3537. 10.1007/s13042-019-00942-5
45	VASWANI A， SHAZEER N， PARMAR N， et al. Attention is all you need［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. Red Hook， NY： Curran Associates Inc.， 2017：6000-6010.
46	复旦大学计算机信息与技术系国际数据库中心自然语言处理小组. 复旦大学中文文本分类数据集［DS/OL］. （2019-07-17）［2022-09-05］..
	Natural Language Processing Group， International Database Center， Department of Computer Information and Technology， Fudan University. Fudan university Chinese text classification dataset［DS/OL］. （2019-07-17）［2022-09-05］..
47	SogouCS.reduced［DS/OL］. ［2022-05-29］..
48	清华大学自然语言处理实验室. 中文文本分类数据集THUCNews［DS/OL］. ［2022-05-30］.http：//thuctc.thunlp.org/#中文文本分类数据集THUCNews.
	Natural Language Processing Laboratory of Tsinghua University. Chinese text classification dataset THUCNews［DS/OL］. ［2022-05-30］.
	中文文本分类数据集THUCNews.
49	Aceimnorstuvwxz. 今日头条中文新闻（文本）分类数据集［DS/OL］. ［2022-09-06］..
	Aceimnorstuvwxz. Tutiao-text-classification-dataset［DS/OL］. ［2022-09-06］..
50	周志华. 机器学习［M］. 北京：清华大学出版社， 2016：25-26.
	ZHOU Z H. Machine Learning［M］. Beijing： Tsinghua University Press， 2016： 25-26.
51	LIU P F， QIU X P， HUANG X J. Recurrent neural network for text classification with multi-task learning［C］// Proceedings of the 25th International Joint Conference on Artificial Intelligence. California： ijcai.org， 2016： 2873-1879. 10.24963/ijcai.2017/473
52	ZHOU C T， SUN C L， LIU Z Y， et al. A C-LSTM neural network for text classification［EB/OL］. （2015-11-30）［2022-07-11］..
53	ZHOU P， SHI W， TIAN J， et al. Attention-based bidirectional long short-term memory networks for relation classification［C］// Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics （Volume 2： Short Papers）. Stroudsburg， PA： ACL， 2016： 207-212. 10.18653/v1/p16-2034
54	GUO B， ZHANG C X， LIU J M， et al. Improving text classification with weighted word embeddings via a multi-channel TextCNN model［J］. Neurocomputing， 2019， 363：366-374. 10.1016/j.neucom.2019.07.052
55	王得强，吴军，王立平. 适于长短文本分类的CBLGA和CBLCA混联模型［J］. 吉林大学学报（信息科学版）， 2021， 39（5）：553-561.
	WANG D Q， WU J， WANG L P. CBLGA and CBLCA hybrid model for long and short text’s classification［J］. Journal of Jilin University （Information Science Edition）， 2021， 39（5）： 553-561.

数据集名称	类数	文本数
数据集名称	类数	训练集	测试集	验证集
复旦大学	20	15 708	1 969	1 959
搜狗新闻	10	2 400	300	300
THUCNews	10	180 000	10 000	10 000
今日头条	15	102 027	12 736	12 740
混合长文本	7	9 255	1 159	1 157
混合短文本	7	9 978	1 243	1 243

数据集名称	类数	文本数
数据集名称	类数	训练集	测试集	验证集
复旦大学	20	15 708	1 969	1 959
搜狗新闻	10	2 400	300	300
THUCNews	10	180 000	10 000	10 000
今日头条	15	102 027	12 736	12 740
混合长文本	7	9 255	1 159	1 157
混合短文本	7	9 978	1 243	1 243

部分	名称	值
BERT	隐藏层层数（Hidden Layers）	12
	隐藏层维度（Hidden Size）	768
	注意力头数（Attention Heads）	12
	文本长度（Text Length）	32/480 （短文本/长文本）
TextCNN	卷积核尺寸（Filter Size）	（1， 3， 5）
	卷积核数（Number of Filters）	（70， 70， 70）
	批处理大小（Batch Size）	128/7 （短文本/长文本）
	激活函数（Activation Function）	PReLU
BiLSTM	隐藏层层数（Hidden Layers）	64
BiLSTM	激活函数（Activation Function）	PReLU
DCATT 卷积通道	卷积核尺寸（Filter Size）	3
	卷积核数（Number of Filters）	100/1 （编码层/解码层）
	激活函数（Activation Function）	ReLU
DCATT 循环通道	隐藏层层数（Hidden Layers）	1
DCATT 循环通道	激活函数（Activation Function）	Tanh

部分	名称	值
BERT	隐藏层层数（Hidden Layers）	12
	隐藏层维度（Hidden Size）	768
	注意力头数（Attention Heads）	12
	文本长度（Text Length）	32/480 （短文本/长文本）
TextCNN	卷积核尺寸（Filter Size）	（1， 3， 5）
	卷积核数（Number of Filters）	（70， 70， 70）
	批处理大小（Batch Size）	128/7 （短文本/长文本）
	激活函数（Activation Function）	PReLU
BiLSTM	隐藏层层数（Hidden Layers）	64
BiLSTM	激活函数（Activation Function）	PReLU
DCATT 卷积通道	卷积核尺寸（Filter Size）	3
	卷积核数（Number of Filters）	100/1 （编码层/解码层）
	激活函数（Activation Function）	ReLU
DCATT 循环通道	隐藏层层数（Hidden Layers）	1
DCATT 循环通道	激活函数（Activation Function）	Tanh

模型	复旦大学		搜狗新闻		THUCNews		今日头条
模型	Acc	F1	Acc	F1	Acc	F1	Acc	F1
TextCNN^［15］	93.65	93.13	81.00	81.30	90.16	90.16	80.73	80.67
BiLSTM^［51］	93.19	93.05	70.67	70.53	90.96	90.96	79.38	79.33
RCNN^［27］	95.83	95.55	81.33	81.57	90.89	90.89	79.99	79.99
TextCNN-BiLSTM^［52］	93.90	93.65	31.00	32.05	91.49	91.48	80.18	80.16
TextCNN-Attention	90.24	89.43	77.18	68.64	87.86	87.86	77.18	77.09
BiLSTM-Attention^［53］	92.12	91.79	75.33	74.67	83.21	83.07	76.67	76.62
TextCNN-BiLSTM-Attention	96.09	96.16	76.67	75.56	91.21	91.22	79.90	79.89
BERT^［35］	96.19	96.13	82.33	82.15	94.27	94.27	84.96	84.85
GLSTCM-HNN	97.15	96.86	88.00	88.01	94.43	94.42	85.23	85.16

General text classification model combining attention and cropping mechanism

融合注意力和裁剪机制的通用文本分类模型

RichHTML

PDF

Knowledge

Abstract

Cite this article

share this article

Figures/Tables 14

References 55

Related Articles 15

Recommended Articles

Metrics

模型	复旦大学		搜狗新闻		THUCNews		今日头条
模型	Acc	F1	Acc	F1	Acc	F1	Acc	F1
模型1（BERT-TextCNN^［54］）	96.19	95.28	84.00	84.14	93.81	93.81	84.81	84.74
模型2（BERT-TextCNN-BiLSTM）	96.49	96.18	86.00	86.24	93.91	93.91	85.02	84.90
模型3（BERT-TextCNN-BiLSTM-DCATT）	96.59	96.44	87.33	87.26	—	—	—	—
本文模型（GLSTCM-HNN）	97.15	96.86	88.00	88.01	94.43	94.42	85.23	85.16

类别	混合长文本			混合短文本			混合测试集
类别	训练集	验证集	测试集	训练集	验证集	测试集	混合测试集
总计	9 255	1 157	1 159	9 978	1 243	1 243	2 402
财经	2 800	350	351	2 110	263	263	614
汽车	240	30	30	867	108	108	138
教育	336	42	42	2 110	263	263	305
体育	2 245	281	281	2 364	295	295	576
军事	360	45	45	605	75	75	120
农业	1 634	204	205	468	58	58	263
政治	1 640	205	205	1 454	181	181	386

模型	长文本测试		短文本测试		混合测试
模型	Acc	F1	Acc	F1	Acc	F1
BERT-TextCNN^［54］	95.30	95.26	78.06	77.82	86.38	86.24
BERT-BiLSTM	89.86	89.93	75.89	75.41	82.63	82.42
BERT-TextCNN-BiLSTM	91.07	91.24	76.21	76.19	83.38	83.45
CBLGA^［55］	63.59	54.92	57.44	48.47	60.41	51.58
GLSTCM⁃HNN	95.64	95.56	82.20	82.50	88.68	88.80

模型	长文本测试		短文本测试		混合测试
模型	Acc	F1	Acc	F1	Acc	F1
BERT-TextCNN^［54］	79.34	79.30	91.49	91.55	85.63	85.64
BERT-BiLSTM	75.63	74.81	89.97	90.08	83.05	82.71
BERT-TextCNN-BiLSTM	74.42	73.88	89.72	89.92	82.34	82.18
CBLGA^［55］	74.37	74.01	89.06	89.19	81.97	81.87
GLSTCM⁃HNN	83.73	84.30	92.42	92.41	88.23	88.50

模型	财经	汽车	教育	体育	军事	农业	政治	加权平均
BERT-TextCNN^［54］	88.35	81.83	83.62	89.83	72.00	89.81	83.13	86.24
BERT-BiLSTM	82.51	81.35	86.91	93.13	67.06	83.47	67.19	82.42
BERT-TextCNN-BiLSTM	83.06	82.50	83.06	82.50	82.75	95.75	69.54	84.94
CBLGA^［55］	60.55	68.24	0.00	81.17	39.27	83.36	10.14	51.58
GLSTCM⁃HNN	91.66	86.67	85.87	93.50	71.28	91.58	83.86	88.80

模型	财经	汽车	教育	体育	军事	农业	政治	加权平均
BERT-TextCNN^［54］	86.06	87.31	86.00	94.61	78.82	86.39	72.31	85.64
BERT-BiLSTM	84.58	84.72	86.74	93.52	66.87	87.69	61.25	82.72
BERT-TextCNN-BiLSTM	83.87	82.53	84.21	95.45	71.68	83.14	60.59	82.18
CBLGA^［55］	82.55	81.72	89.33	91.99	64.65	83.69	63.93	81.87
GLSTCM⁃HNN	87.39	87.55	87.72	95.26	79.18	91.18	82.19	88.50

[1]	Jing QIN, Zhiguang QIN, Fali LI, Yueheng PENG. Diagnosis of major depressive disorder based on probabilistic sparse self-attention neural network [J]. Journal of Computer Applications, 2024, 44(9): 2970-2974.
[2]	Xiyuan WANG, Zhancheng ZHANG, Shaokang XU, Baocheng ZHANG, Xiaoqing LUO, Fuyuan HU. Unsupervised cross-domain transfer network for 3D/2D registration in surgical navigation [J]. Journal of Computer Applications, 2024, 44(9): 2911-2918.
[3]	Liting LI, Bei HUA, Ruozhou HE, Kuang XU. Multivariate time series prediction model based on decoupled attention mechanism [J]. Journal of Computer Applications, 2024, 44(9): 2732-2738.
[4]	Yunchuan HUANG, Yongquan JIANG, Juntao HUANG, Yan YANG. Molecular toxicity prediction based on meta graph isomorphism network [J]. Journal of Computer Applications, 2024, 44(9): 2964-2969.
[5]	Yexin PAN, Zhe YANG. Optimization model for small object detection based on multi-level feature bidirectional fusion [J]. Journal of Computer Applications, 2024, 44(9): 2871-2877.
[6]	Zhiqiang ZHAO, Peihong MA, Xinhong HEI. Crowd counting method based on dual attention mechanism [J]. Journal of Computer Applications, 2024, 44(9): 2886-2892.
[7]	Shunyong LI, Shiyi LI, Rui XU, Xingwang ZHAO. Incomplete multi-view clustering algorithm based on self-attention fusion [J]. Journal of Computer Applications, 2024, 44(9): 2696-2703.
[8]	Kaipeng XUE, Tao XU, Chunjie LIAO. Multimodal sentiment analysis network with self-supervision and multi-layer cross attention [J]. Journal of Computer Applications, 2024, 44(8): 2387-2392.
[9]	Pengqi GAO, Heming HUANG, Yonghong FAN. Fusion of coordinate and multi-head attention mechanisms for interactive speech emotion recognition [J]. Journal of Computer Applications, 2024, 44(8): 2400-2406.
[10]	Yuhan LIU, Genlin JI, Hongping ZHANG. Video pedestrian anomaly detection method based on skeleton graph and mixed attention [J]. Journal of Computer Applications, 2024, 44(8): 2551-2557.
[11]	Zhonghua LI, Yunqi BAI, Xuejin WANG, Leilei HUANG, Chujun LIN, Shiyu LIAO. Low illumination face detection based on image enhancement [J]. Journal of Computer Applications, 2024, 44(8): 2588-2594.
[12]	Shangbin MO, Wenjun WANG, Ling DONG, Shengxiang GAO, Zhengtao YU. Single-channel speech enhancement based on multi-channel information aggregation and collaborative decoding [J]. Journal of Computer Applications, 2024, 44(8): 2611-2617.
[13]	Yanjie GU, Yingjun ZHANG, Xiaoqian LIU, Wei ZHOU, Wei SUN. Traffic flow forecasting via spatial-temporal multi-graph fusion [J]. Journal of Computer Applications, 2024, 44(8): 2618-2625.
[14]	Qianhong SHI, Yan YANG, Yongquan JIANG, Xiaocao OUYANG, Wubo FAN, Qiang CHEN, Tao JIANG, Yuan LI. Multi-granularity abrupt change fitting network for air quality prediction [J]. Journal of Computer Applications, 2024, 44(8): 2643-2650.
[15]	Zheng WU, Zhiyou CHENG, Zhentian WANG, Chuanjian WANG, Sheng WANG, Hui XU. Deep learning-based classification of head movement amplitude during patient anaesthesia resuscitation [J]. Journal of Computer Applications, 2024, 44(7): 2258-2263.