动态微调的模型集成算法Bagging-DyFAS

doi:10.11772/j.issn.1001-9081.2023040426

《计算机应用》唯一官方网站 ›› 2023, Vol. 43 ›› Issue (S2): 28-33.DOI: 10.11772/j.issn.1001-9081.2023040426

动态微调的模型集成算法Bagging-DyFAS

李龚林(), 范一晨, 米宇舰, 李明

西安理工大学经济与管理学院，西安 710054

收稿日期:2023-04-14 修回日期:2023-06-25 接受日期:2023-06-30 发布日期:2024-01-09 出版日期:2023-12-31
通讯作者: 李龚林
作者简介:李龚林（2002—），男，湖南长沙人，主要研究方向：自然语言处理
范一晨（2002—），男，陕西西安人，主要研究方向：自然语言处理
米宇舰（2002—），男，陕西西安人，主要研究方向：自然语言处理
李明（1973—），女，山东莱芜人，讲师，硕士，主要研究方向：人工智能、自然语言处理。
基金资助:
陕西省大学生创新创业训练计划项目(S202210700148)

Bagging-DyFAS： model ensemble algorithm with dynamic fine-tuning

Gonglin LI(), Yichen FAN, Yujian MI, Ming LI

School of Economics and Management，Xi’an University of Technology，Xi’an Shaanxi 710054，China

Received:2023-04-14 Revised:2023-06-25 Accepted:2023-06-30 Online:2024-01-09 Published:2023-12-31
Contact: Gonglin LI

摘要/Abstract

摘要：

针对单一模型用于文本分类存在的模型体量大，难以适用于舆情信息文本的多元化非规范的表达等问题，提出基于Bagging训练思想的、动态微调和二次加权的模型集成算法（Bagging-DyFAS）。首先，使用自助采样构建的数据集训练弱分类器，使该分类器具有一定的先验知识；其次，依据该分类器在开发集的表现，进行一次动态加权和一次静态加权，并使用得到的一系列权重将模型泛化到无标注的数据上，进一步提升模型在文本分类任务的性能。在所构建的数据集上的实验结果表明，在训练一轮的情况下，相较于基线模型MiniBRT、BRT3和LERT（Linguistically-motivated bidirectional Encoder Representation from Transformer），所提算法的准确率、精确率、召回率和F1值分别至少提升3.6、3.8、1.3和3.2个百分点，实验结果验证了所提算法的有效性。

关键词: 文本分类, 模型集成, 二次加权, 动态加权, 舆情分析, 预训练语言模型

Abstract:

In view of the problems of large model size and difficulty in applying a single model for text classification to diverse and non-normative representations of public opinion information， a model ensemble algorithm based on Bagging-Dynamic Fine-tuning And Secondary weighting （Bagging-DyFAS） was proposed. First， weak classifiers were trained with a dataset constructed by self-sampling， so that some priori knowledge was in the classifiers. Then， they were dynamically weighted once and statically weighted once based on their performance in the development set. Using the obtained series of weights， the models were generalized to unlabeled data， which could further improve the performance of the models in text classification tasks. Experimental results on the constructed test dataset show that， after training for on round， compared to the baseline models MiniBRT，BRT3 and LERT （Linguistically-motivated bidirectional Encoder Representation from Transformer）， the proposed algorithm improved the accuracy， precision， recall and F1 value by at least 3.6， 3.8， 1.3 and 3.2 percentage points respectively， validating the effectiveness of the proposed algorithm.

Key words: text classification, model ensemble, quadratic weighting, dynamic weighting, public opinion analysis, pre-training language model

中图分类号:

TP391.1

李龚林, 范一晨, 米宇舰, 李明. 动态微调的模型集成算法Bagging-DyFAS[J]. 计算机应用, 2023, 43(S2): 28-33.

Gonglin LI, Yichen FAN, Yujian MI, Ming LI. Bagging-DyFAS： model ensemble algorithm with dynamic fine-tuning[J]. Journal of Computer Applications, 2023, 43(S2): 28-33.

图/表 7

参考文献 27

1	ABEYWICKRAMA T， CHEEMA M A， TANIAR D. K-nearest neighbors on road networks： a journey in experimentation and in-memory implementation［J］. Proceedings of the VLDB Endowment， 2016， 9（6）： 492-503. 10.14778/2904121.2904125
2	BREIMAN L. Random forests［J］. Machine Learning， 2001， 45（1）： 5-32. 10.1023/a:1010933404324
3	CHEN T， GUESTRIN C. XGBoost： a scalable tree boosting system［C］ //Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining. New York： ACM， 2016： 785-794. 10.1145/2939672.2939785
4	KE G， MENG Q， FINLEY T， et al. LightGBM： a highly efficient gradient boosting decision tree［C］// Proceedings of the 31st International Conference on Neural Information Processing Systems. New York： ACM， 2017： 3149-3157. 10.18653/v1/w16-13
5	DASARATHY B V， SHEELA B V. A composite classifier system design： concepts and methodology［J］. Proceedings of the IEEE， 1979， 67（5）： 708-713. 10.1109/proc.1979.11321
6	唐伟，周志华. 基于Bagging的选择性聚类集成［J］. 软件学报， 2005， 16（4）： 496-502. 10.1360/jos160496
7	VERMA A， MEHTA S. A comparative study of ensemble learning methods for classification in bioinformatics［C］// Proceedings of the 2017 7th International Conference on Cloud Computing， Data Science & Engineering — Confluence. Piscataway： IEEE， 2017： 155-158. 10.1109/confluence.2017.7943141
8	WANG G， SUN J， MA J， et al. Sentiment classification： the contribution of ensemble learning［J］. Decision Support Systems， 2014， 57： 77-93. 10.1016/j.dss.2013.08.002
9	HO T K. The random subspace method for constructing decision forests［J］. IEEE Transactions on Pattern Analysis and Machine Intelligence， 1998， 20（8）： 832-844. 10.1109/34.709601
10	KRAWCZYK B， MINKU L L， GAMA J， et al. Ensemble learning for data stream analysis： a survey［J］. Information Fusion， 2017， 37： 132-156. 10.1016/j.inffus.2017.02.004
11	吴玉凤，冯军，钱亚冠，等. 基于宽度学习算法的加权集成成绩预测模型［J］. 浙江科技学院学报， 2021， 33（5）： 362-368. 10.3969/j.issn.1671-8798.2021.05.003
12	BREIMAN L. Bagging predictors［J］. Machine Learning， 1996， 24（2）： 123-140. 10.1007/bf00058655
13	WOLPERT D H. Stacked generalization［J］. Neural Networks， 1992， 5（2）： 241-259. 10.1016/s0893-6080(05)80023-1
14	BRYLL R， GUTIERREZ-OSUNA R， QUEK F. Attribute bagging： improving accuracy of classifier ensembles by using random feature subsets［J］. Pattern Recognition， 2003， 36（6）： 1291-1302. 10.1016/s0031-3203(02)00121-8
15	韩红卫，刘一峰，王勇. 基于CNN的bagging模型在智慧电网中的应用［C］// 中国电力企业管理创新实践（2020年）. 北京：中国质量标准出版传媒有限公司， 2021： 488-491. 10.3969/j.issn.1007-757X.2021.05.020
16	车翔玖，于英杰，刘全乐. 增强Bagging集成学习及多目标检测算法［J］. 吉林大学学报（工学版）， 2022， 52（12）： 2916-2923.
17	李颖之，李曼，董平，等. 基于集成学习的多类型应用层DDoS攻击检测方法［J］. 计算机应用， 2022， 42（12）： 3775-3784.
18	苏赋，罗海波. 改进Stacking集成学习的指纹识别算法［J］. 计算机工程与科学， 2022， 44（12）： 2153-2161. 10.3969/j.issn.1007-130X.2022.12.009
19	阳志光，郭晨宇，杨帆，等. 基于集成学习的冲击载荷识别与定位方法［J］. 强度与环境， 2022， 49（5）： 129-137.
20	牛红丽，赵亚枝. 利用Bagging算法和GRU模型预测股票价格指数［J］. 计算机工程与应用， 2022， 58（12）： 132-138. 10.3778/j.issn.1002-8331.2105-0367
21	李国成，陆俊，王赟，等. 基于Bagging二次加权集成的孤立森林窃电检测算法［J］. 电力系统自动化， 2022， 46（2）： 92-100.
22	FAN Y， XIA Y， WU L， et al. Learning to reweight with deep interactions ［C］// Proceedings of the 2021 AAAI Conference on Artificial Intelligence. Palo， CA： AAAI Press， 2021： 7385-7393. 10.1609/aaai.v35i8.16906
23	LI Z， WU Y， CHEN K， et al. Learning to auto weight： entirely data-driven and highly efficient weighting framework［C］ //Proceedings of the 2020 34th AAAI Conference on Artificial Intelligence. Palo， CA： AAAI Press， 2020： 4788-4795. 10.1609/aaai.v34i04.5913
24	张晓宇，张华熊，高强. 基于深度学习的多模式权重网络语音情感识别［J］. 大连理工大学学报， 2022， 62（5）： 526-534.
25	宋亚. 基于集成学习的剩余使用寿命预测研究［D］. 上海：上海交通大学， 2020： 23-27.
26	TAN S， ZHANG J. An empirical study of sentiment analysis for chinese documents［J］. Expert Systems with Applications， 2008， 34（4）： 2622-2629. 10.1016/j.eswa.2007.05.028
27	CUI Y M， CHE W X， WANG S J， et al. LERT： a linguistically-motivated pre-trained language model ［EB/OL］. （2022-11-10）［2023-03-12］. .

数据集	总数据数	情感倾向分布
数据集	总数据数	正向	负向
训练集	9 146	4 585	4 561
测试集	1 200	608	592
开发集	1 200	607	593

数据集	总数据数	情感倾向分布
数据集	总数据数	正向	负向
训练集	9 146	4 585	4 561
测试集	1 200	608	592
开发集	1 200	607	593

训练轮数	模型	准确率	精确率	F1值	召回率
1	MiniRBT	0.857	0.859	0.859	0.867
	RBT3	0.869	0.845	0.875	0.908
	LERT	0.849	0.840	0.854	0.868
	Bagging-DyFAS	0.905	0.897	0.907	0.921
2	MiniRBT	0.883	0.862	0.888	0.916
	RBT3	0.887	0.857	0.893	0.929
	LERT	0.880	0.874	0.883	0.892
	Bagging-DyFAS	0.920	0.909	0.922	0.936
3	MiniRBT	0.888	0.878	0.891	0.903
	RBT3	0.903	0.881	0.907	0.934
	LERT	0.898	0.896	0.899	0.903
	Bagging-DyFAS	0.925	0.912	0.927	0.941
4	MiniRBT	0.889	0.876	0.890	0.904
	RBT3	0.901	0.885	0.901	0.934
	LERT	0.906	0.908	0.904	0.900
	Bagging-DyFAS	0.928	0.917	0.930	0.941

训练轮数	模型	准确率	精确率	F1值	召回率
1	MiniRBT	0.857	0.859	0.859	0.867
	RBT3	0.869	0.845	0.875	0.908
	LERT	0.849	0.840	0.854	0.868
	Bagging-DyFAS	0.905	0.897	0.907	0.921
2	MiniRBT	0.883	0.862	0.888	0.916
	RBT3	0.887	0.857	0.893	0.929
	LERT	0.880	0.874	0.883	0.892
	Bagging-DyFAS	0.920	0.909	0.922	0.936
3	MiniRBT	0.888	0.878	0.891	0.903
	RBT3	0.903	0.881	0.907	0.934
	LERT	0.898	0.896	0.899	0.903
	Bagging-DyFAS	0.925	0.912	0.927	0.941
4	MiniRBT	0.889	0.876	0.890	0.904
	RBT3	0.901	0.885	0.901	0.934
	LERT	0.906	0.908	0.904	0.900
	Bagging-DyFAS	0.928	0.917	0.930	0.941

算法	F1值
经典Bagging	0.865
不考虑动态权重的Bagging-DyFAS	0.878
考虑动态权重的Bagging-DyFAS	0.911

动态微调的模型集成算法Bagging-DyFAS

Bagging-DyFAS： model ensemble algorithm with dynamic fine-tuning

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 7

参考文献 27

相关文章 15

编辑推荐

Metrics

算法	准确率	精确率	F1值	召回率
原始参数的Bagging-DyFAS	0.506	0.506	0.673	1.000
Bagging-DyFAS	0.905	0.987	0.907	0.921

[1]	刘新忠, 赵澳庆, 谢文武, 杨志和. 基于BERT-GAT-CorNet多标签中文短文本分类方法[J]. 《计算机应用》唯一官方网站, 2023, 43(S2): 18-21.
[2]	于碧辉, 蔡兴业, 魏靖烜. 基于提示学习的小样本文本分类方法[J]. 《计算机应用》唯一官方网站, 2023, 43(9): 2735-2740.
[3]	崔雨萌, 王靖亚, 刘晓文, 闫尚义, 陶知众. 融合注意力和裁剪机制的通用文本分类模型[J]. 《计算机应用》唯一官方网站, 2023, 43(8): 2396-2405.
[4]	黄梦林, 段磊, 张袁昊, 王培妍, 李仁昊. 基于Prompt学习的无监督关系抽取模型[J]. 《计算机应用》唯一官方网站, 2023, 43(7): 2010-2016.
[5]	杨森淇, 段旭良, 肖展, 郎松松, 李志勇. 基于ERNIE+DPCNN+BiGRU的农业新闻文本分类[J]. 《计算机应用》唯一官方网站, 2023, 43(5): 1461-1466.
[6]	张旭, 生龙, 张海芳, 田丰, 王巍. 基于标签混淆的院前急救文本分类模型[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1050-1055.
[7]	高永兵, 高军甜, 马蓉, 杨立东. 用户粒度级的个性化社交文本生成模型[J]. 《计算机应用》唯一官方网站, 2023, 43(4): 1021-1028.
[8]	林呈宇, 王雷, 薛聪. 标签语义增强的弱监督文本分类模型[J]. 《计算机应用》唯一官方网站, 2023, 43(2): 335-342.
[9]	许亮, 张春, 张宁, 田雪涛. 融合多Prompt模板的零样本关系抽取模型[J]. 《计算机应用》唯一官方网站, 2023, 43(12): 3668-3675.
[10]	薛状状, 李鹏, 樊卫北, 张宏俊, 孟凡朔. 基于动态加权张量距离的多聚类算法[J]. 《计算机应用》唯一官方网站, 2023, 43(11): 3449-3456.
[11]	江静, 陈渝, 孙界平, 琚生根. 融合后验概率校准训练的文本分类算法[J]. 《计算机应用》唯一官方网站, 2022, 42(6): 1789-1795.
[12]	杨先凤, 赵家和, 李自强. 融合字注释的文本分类模型[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1317-1323.
[13]	杨世刚, 刘勇国. 融合语料库特征与图注意力网络的短文本分类方法[J]. 《计算机应用》唯一官方网站, 2022, 42(5): 1324-1329.
[14]	张海丰, 曾诚, 潘列, 郝儒松, 温超东, 何鹏. 结合BERT和特征投影网络的新闻主题文本分类方法[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1116-1124.
[15]	王乐, 韩萌, 李小娟, 张妮, 程浩东. 基于动态加权函数的集成分类算法[J]. 《计算机应用》唯一官方网站, 2022, 42(4): 1137-1147.