Agent model for hyperparameter self-optimization of deep classification model

doi:10.11772/j.issn.1001-9081.2023091313

Journal of Computer Applications ›› 2024, Vol. 44 ›› Issue (10): 3021-3031.DOI: 10.11772/j.issn.1001-9081.2023091313

• Artificial intelligence • Previous Articles Next Articles

Agent model for hyperparameter self-optimization of deep classification model

Rui ZHANG¹(), Junming PAN¹, Xiaolu BAI², Jing HU¹, Rongguo ZHANG¹, Pengyun ZHANG¹

^1.School of Computer Science and Technology，Taiyuan University of Science and Technology，Taiyuan Shanxi 030024，China
^2.Faculty of Information Technology，Beijing University of Technology，Beijing 100124，China

Received:2023-09-25 Revised:2024-03-07 Accepted:2024-03-19 Online:2024-04-01 Published:2024-10-10
Contact: Rui ZHANG
About author:PAN Junming， born in 1996， M. S. candidate. His research interests include intelligent information processing.
BAI Xiaolu， born in 1999， Ph. D. candidate. His research interests include intelligent information processing.
HU Jing， born in 1977， Ph. D.， professor. Her research interests include deep learning， image processing.
ZHANG Rongguo， born in 1964， Ph. D.， professor. His research interests include image processing， computer vision， pattern recognition.
ZHANG Pengyun， born in 1999， M. S. candidate. His research interests include intelligent information processing.
Supported by:
Humanities and Social Sciences Research Project of Ministry of Education(23YJCZH299);Shanxi Basic Research Program(20210302123216);Graduate Joint Training Demonstration Base Project of Taiyuan University of Science and Technology(JD2022004);Graduate Education Innovation Project of Taiyuan University of Science and Technology(SY2023040)

面向深度分类模型超参数自优化的代理模型

张睿¹(), 潘俊铭¹, 白晓露², 胡静¹, 张荣国¹, 张鹏云¹

^1.太原科技大学计算机科学与技术学院，太原 030024
^2.北京工业大学信息学部，北京 100124

通讯作者: 张睿
作者简介:张睿（1987—），男，山西太原人，副教授，博士，CCF高级会员，主要研究方向：自动机器学习、智能信息处理 zhangrui@tyust.edu.cn
潘俊铭（1996—），男，山西太原人，硕士研究生，主要研究方向：智能信息处理
白晓露（1999—），男，山西大同人，博士研究生，主要研究方向：智能信息处理
胡静（1977—），女，山西大同人，教授，博士，CCF会员，主要研究方向：深度学习、图像处理
张荣国（1964—），男，山西太原人，教授，博士，CCF高级会员，主要研究方向：图像处理、计算机视觉、模式识别
张鹏云（1999—），男，山西太原人，硕士研究生，主要研究方向：智能信息处理。
基金资助:
教育部人文社会科学研究项目(23YJCZH299);山西省基础研究计划项目(20210302123216);太原科技大学研究生联合培养示范基地项目(JD2022004);太原科技大学研究生教育创新项目(SY2023040)

Abstract

Abstract:

To further improve the efficiency of hyperparameter multi-objective adaptive optimization of deep classification models， a Filter Enhanced Dropout Agent （FEDA） model was proposed. Firstly， a dual-channel Dropout neural network with enhanced point-to-point mutual information constraint was constructed， to enhance the fitting of high-dimensional hyperparameter deep classification model， and the selection of candidate solution sets was accelerated by combining the aggregation solution selection strategy. Secondly， an FEDA model-A novel preference-based dominance Relation for Multi-Objective Evolutionary Algorithm （FEDA-ARMOEA） combined with model management strategy was designed to balance the convergence and diversity of population individuals， and to assist FEDA in improving the efficiency of deep classification model training and hyperparameter self optimization. Comparative experiments were conducted between FEDA-ARMOEA， EDN-ARMOEA （Efficient Dropout neural Network-assisted AR-MOEA）， HeE-MOEA （Heterogeneous Ensemble-based infill criterion for Multi-Objective Evolutionary Algorithm）， and other algorithms. Experimental results show that FEDA-ARMOEA performs well on 41 sets in all 56 sets of testing problems. Experiments on industrial application weld data set MTF and public data set CIFAR-10 show that the accuracy of FEDA-ARMOEA optimized classification model is 96.16% and 93.79%， respectively， and the training time is decreased by 6.94%-47.04% and 4.44%-39.07% compared with the contrast algorithms， respectively. All of them are superior to those of the contrast algorithms， which verifies the effectiveness and generalization of the proposed algorithm.

Key words: deep convolutional neural network, classification model, hyperparameter optimization, agent model, model optimization

摘要：

为进一步提高深度分类模型超参数多目标自适应寻优效率，提出一种筛选式增强Dropout代理（FEDA）模型。首先，构建点对互信息约束增强的双通道Dropout神经网络，增强对高维超参数深度分类模型的拟合，并结合聚集选解策略加速候选解集的选取；其次，设计一种结合模型管理策略的算法FEDA-ARMOEA（FEDA model-A novel preference-based dominance Relation for Multi-Objective Evolutionary Algorithm）均衡种群个体的收敛性和多样性，协助FEDA提高深度分类模型训练及超参数自优化效率。将FEDA-ARMOEA与EDN-ARMOEA（Efficient Dropout neural Network-assisted AR-MOEA）、HeE-MOEA（Heterogeneous Ensemble-based infill criterion for Multi-Objective Evolutionary Algorithm）等算法进行对比实验，实验结果表明，FEDA-ARMOEA在56组测试问题中的41组上表现较好。在工业应用焊缝数据集MTF和公共数据集CIFAR-10上实验，FEDA-ARMOEA优化的分类模型的精度分别达到96.16%和93.79%，训练时间相较于对比算法分别降低6.94%~47.04%和4.44%~39.07%，均优于对比算法，验证了所提算法的有效性和泛化性。

关键词: 深度卷积神经网络, 分类模型, 超参数优化, 代理模型, 模型优化

CLC Number:

TP183

Rui ZHANG, Junming PAN, Xiaolu BAI, Jing HU, Rongguo ZHANG, Pengyun ZHANG. Agent model for hyperparameter self-optimization of deep classification model[J]. Journal of Computer Applications, 2024, 44(10): 3021-3031.

张睿, 潘俊铭, 白晓露, 胡静, 张荣国, 张鹏云. 面向深度分类模型超参数自优化的代理模型[J]. 《计算机应用》唯一官方网站, 2024, 44(10): 3021-3031.

Figures/Tables 16

References 24

1	OUYANG L， WU J， JIANG X， et al. Training language models to follow instructions with human feedback ［EB/OL］. ［2023-10-10］. .
2	REAL E， MOORE S， SELLE A， et al. Large-scale evolution of image classifiers［C］// Proceedings of the 34th International Conference on Machine Learning. New York： JMLR.org， 2017： 2902-2911.
3	ZHANG R， ZHAO N， FU L， et al. Recognizing defects in stainless steel welds based on multi-domain feature expression and self-optimization［J］. Journal of Intelligent Manufacturing，2021， 34： 1293-1309.
4	GÜLCÜ A， KUŞ Z. Hyper-parameter selection in convolutional neural networks using microcanonical optimization algorithm［J］. IEEE Access， 2020， 8： 52528-52540.
5	GÜLCÜ A， KUŞ Z. Multi-objective simulated annealing for hyper-parameter optimization in convolutional neural networks［J］. PeerJ Computer Science， 2021， 7： e338.
6	KNOWLES J. ParEGO： a hybrid algorithm with on-line landscape approximation for expensive multi objective optimization problems ［J］. IEEE Transactions on Evolutionary Computation， 2006， 10（1）： 50-66.
7	ZHANG Q， LI H. MOEA/D： a multiobjective evolutionary algorithm based on decomposition ［J］. IEEE Transactions on Evolutionary Computation， 2007， 11（6）： 712-731.
8	CHUGH T， JIN Y， MIETTINEN K， et al. A surrogate-assisted reference vector guided evolutionary algorithm for computationally expensive many-objective optimization ［J］. IEEE Transactions on Evolutionary Computation， 2018， 22（1）： 129-142.
9	孙超利，李贞，金耀初. 模型辅助的计算费时进化高维多目标优化［J］. 自动化学报， 2022， 48（4）： 1119-1128.
	SUN C L， LI Z， JIN Y C. Surrogate-assisted expensive evolutionary many-objective optimization ［J］. Acta Automatica Sinica， 2022， 48（4）： 1119-1128.
10	PAN L， HE C， TIAN Y， et al. A classification-based surrogate-assisted evolutionary algorithm for expensive many-objective optimization ［J］. IEEE Transactions on Evolutionary Computation， 2019， 23（1）： 74-88.
11	CHEN H， LI W， CUI W. Surrogate-assisted evolutionary algorithm with hierarchical surrogate technique and adaptive infill strategy［J］. Expert Systems with Applications， 2023， 232： 120826.
12	TIAN Y， HU J， HE C， et al. A pairwise comparison based surrogate-assisted evolutionary algorithm for expensive multi-objective optimization［J］. Swarm and Evolutionary Computation， 2023， 80： 101323.
13	GUO D， WANG X， GAO K， et al. Evolutionary of high-dimensional optimization multi objective and many-objective expensive problems assisted by a dropout neural network ［J］. IEEE Transactions on Systems， Man and Cybernetics： Systems， 2022， 52（4）： 2084-2097.
14	MCKAY M D， BECKMAN R J， CONOVER W J. A comparison of three methods for selecting values of input variables in the analysis of output from a computer code［J］. Technometrics， 2000， 42（1）： 55-61.
15	胡兵兵，唐华，吴幼龙. 基于互信息约束的生成对抗网络分类模型［J］. 中国科学院大学学报， 2022， 39（4）： 551-560.
	HU B B， TANG H， WU Y L. Classification models based on generative adversarial networks with mutual information regularization ［J］. Journal of University of Chinese Academy of Sciences， 2022， 39（4）： 551-560.
16	YI J， BAI J， HE H， et al. ar-MOEA： a novel preference-based dominance relation for evolutionary multiobjective optimization ［J］. IEEE Transactions on Evolutionary Computation， 2019， 23（5）： 788-802.
17	刘冰洁，毕晓君. 一种基于角度信息的约束高维多目标进化算法［J］. 电子学报， 2021， 49（11）： 2208-2216.
	LIU B J， BI X J. A constrained many-objective evolutionary algorithm based on angle information ［J］. Acta Electronica Sinica， 2021，49 （11）： 2208-2216.
18	孙文静，李军华，黎明. 基于自适应支配准则的高维多目标进化算法［J］. 电子学报， 2020， 48（8）：1596-1604.
	SUN W J， LI J H， LI M. Adaptive dominance criterion based evolutionary algorithm for many-objective optimization ［J］. Acta Electronica Sinica， 2020， 48（8）： 1596-1604.
19	GUO D， JIN Y， DING J， et al. Heterogeneous ensemble-based infill criterion for evolutionary multiobjective optimization of expensive problems ［J］. IEEE Transactions on Cybernetics， 2019， 49（3）： 1012-1025.
20	TIAN Y， ZHANG Y， SU Y， et al. Balancing objective optimization and constraint satisfaction in constrained evolutionary multiobjective optimization ［J］. IEEE Transactions on Cybernetics， 2022， 52（9）： 9559-9572.
21	TIAN Y， CHENG R， ZHANG X， et al. PlaEMO： a Matlab platform for evolutionary multi-objective optimization ［J］. IEEE Computational Intelligence Magazines， 2017， 12（4）： 73-87.
22	WANG B-C， LI H-X， ZHANG Q， et al. Decomposition-based multi objective optimization for constrained evolutionary optimization ［J］. IEEE Transactions on Systems Man Cybernetics： Systems， 2021， 51（1）： 574-587.
23	张睿，高美蓉，傅留虎，等. 基于多域多尺度深度特征自适应融合的焊缝缺陷检测研究［J］. 振动与冲击， 2023， 42（17）： 294-305.
	ZHANG R， GAO M R， FU L H， et al. Weld defect detection based on adaptive fusion of multi-domain and multi-scale deep features ［J］. Journal of Vibration and Shock， 2023， 42 （17）： 294-305.
24	KRIZHEVSKY A. Convolutional deep belief networks on CIFAR-10［EB/OL］. ［2023-03-13］. .

问题	维度	Dropout	Kriging	FEDA
DTLZ1	20	3.24E+2 （3.22E+1）+	3.50E+2 （3.78E+1）+	3.01E+2 （3.40E+1）
	40	8.54E+2 （5.40E+1）=	8.79E+2 （6.16E+1）=	8.73E+2 （5.83E+1）
	60	1.43E+3 （5.32E+1）+	1.46E+3 （6.04E+1）+	1.40E+3 （4.81E+1）
	100	2.58E+3 （6.83E+1）+	2.62E+3 （6.14E+1）+	2.49E+3 （7.24E+1）
DTLZ2	20	6.74E-1 （6.57E-2）-	7.14E-1 （7.84E-2）=	7.04E-1 （6.32E-2）
	40	1.95E+0 （1.24E-1）=	2.01E+0 （1.36E-1）=	1.86E+0 （1.18E-1）
	60	3.29E+0 （1.27E-1）=	3.31E+0 （1.82E-1）=	3.17E+0 （1.32E-1）
	100	5.85E+0 （1.41E-1）=	5.88E+0 （1.55E-1）=	5.75E+0 （1.47E-1）
DTLZ3	20	1.06E+3 （1.44E+2）+	1.07E+3 （1.40E+2）+	8.66E+2 （1.36E+2）
	40	2.77E+3 （1.53E+2）+	2.78E+3 （1.61E+2）+	2.58E+3 （6.70E+1）
	60	4.53E+3 （2.04E+2）+	4.51E+3 （2.13E+2）+	4.31E+3 （1.14E+2）
	100	8.27E+3 （2.14E+2）+	8.27E+3 （2.02E+2）+	7.89E+3 （1.81E+2）
DTLZ4	20	8.37E-1 （1.76E-1）-	9.54E-1 （7.49E-2）+	1.10E+0 （8.72E-1）
	40	2.20E+0 （1.58E-1）=	2.33E+0 （1.96E-1）+	2.22E+0 （1.84E-1）
	60	3.45E+0 （2.27E-1）+	3.68E+0 （1.75E-1）+	3.36E+0 （1.99E-1）
	100	6.34E+0 （2.17E-1）+	6.33E+0 （2.26E-1）+	6.07E+0 （1.84E-1）
DTLZ5	20	4.71E-1 （7.82E-2）+	5.31E-1 （7.49E-2）+	3.21E-1 （5.22E-2）
	40	1.92E+0 （1.24E-1）+	1.95E+0 （1.31E-1）+	1.79E+0 （9.44E-2）
	60	3.22E+0 （1.62E-1）=	3.24E+0 （1.87E-1）=	3.02E+0 （1.74E-1）
	100	6.14E+0 （1.47E-1）+	6.04E+0 （1.66E-1）+	5.61E+0 （1.16E-1）
DTLZ6	20	1.37E+1 （7.96E-1）=	1.30E+1 （5.44E-1）-	1.39E+1 （7.06E-1）
	40	3.15E+1 （4.52E-1）+	3.22E+1 （5.97E-1）+	3.15E+1 （4.17E-1）
	60	4.95E+1 （7.33E-1）+	4.78E+1 （5.11E-1）=	4.79E+1 （6.55E-1）
	100	4.84E+1 （7.17E-1）-	8.56E+1 （5.94E-1）=	8.44E+1 （6.24E-1）
DTLZ7	20	2.95E+0 （7.02E-1）+	2.18E+0 （3.83E-1）-	2.66E+0 （3.71E-1）
	40	4.49E+0 （9.37E-1）-	8.85E+0 （2.17E-0）+	4.31E+0 （8.94E-1）
	60	5.22E+0 （5.76E-1）-	9.25E+0 （5.83E-1）=	8.26E+0 （6.55E-1）
	100	6.56E+0 （5.16E-1）+	1.24E+1 （5.08E-1）+	5.76E+0 （4.37E-1）

问题	维度	Dropout	Kriging	FEDA
DTLZ1	20	3.24E+2 （3.22E+1）+	3.50E+2 （3.78E+1）+	3.01E+2 （3.40E+1）
	40	8.54E+2 （5.40E+1）=	8.79E+2 （6.16E+1）=	8.73E+2 （5.83E+1）
	60	1.43E+3 （5.32E+1）+	1.46E+3 （6.04E+1）+	1.40E+3 （4.81E+1）
	100	2.58E+3 （6.83E+1）+	2.62E+3 （6.14E+1）+	2.49E+3 （7.24E+1）
DTLZ2	20	6.74E-1 （6.57E-2）-	7.14E-1 （7.84E-2）=	7.04E-1 （6.32E-2）
	40	1.95E+0 （1.24E-1）=	2.01E+0 （1.36E-1）=	1.86E+0 （1.18E-1）
	60	3.29E+0 （1.27E-1）=	3.31E+0 （1.82E-1）=	3.17E+0 （1.32E-1）
	100	5.85E+0 （1.41E-1）=	5.88E+0 （1.55E-1）=	5.75E+0 （1.47E-1）
DTLZ3	20	1.06E+3 （1.44E+2）+	1.07E+3 （1.40E+2）+	8.66E+2 （1.36E+2）
	40	2.77E+3 （1.53E+2）+	2.78E+3 （1.61E+2）+	2.58E+3 （6.70E+1）
	60	4.53E+3 （2.04E+2）+	4.51E+3 （2.13E+2）+	4.31E+3 （1.14E+2）
	100	8.27E+3 （2.14E+2）+	8.27E+3 （2.02E+2）+	7.89E+3 （1.81E+2）
DTLZ4	20	8.37E-1 （1.76E-1）-	9.54E-1 （7.49E-2）+	1.10E+0 （8.72E-1）
	40	2.20E+0 （1.58E-1）=	2.33E+0 （1.96E-1）+	2.22E+0 （1.84E-1）
	60	3.45E+0 （2.27E-1）+	3.68E+0 （1.75E-1）+	3.36E+0 （1.99E-1）
	100	6.34E+0 （2.17E-1）+	6.33E+0 （2.26E-1）+	6.07E+0 （1.84E-1）
DTLZ5	20	4.71E-1 （7.82E-2）+	5.31E-1 （7.49E-2）+	3.21E-1 （5.22E-2）
	40	1.92E+0 （1.24E-1）+	1.95E+0 （1.31E-1）+	1.79E+0 （9.44E-2）
	60	3.22E+0 （1.62E-1）=	3.24E+0 （1.87E-1）=	3.02E+0 （1.74E-1）
	100	6.14E+0 （1.47E-1）+	6.04E+0 （1.66E-1）+	5.61E+0 （1.16E-1）
DTLZ6	20	1.37E+1 （7.96E-1）=	1.30E+1 （5.44E-1）-	1.39E+1 （7.06E-1）
	40	3.15E+1 （4.52E-1）+	3.22E+1 （5.97E-1）+	3.15E+1 （4.17E-1）
	60	4.95E+1 （7.33E-1）+	4.78E+1 （5.11E-1）=	4.79E+1 （6.55E-1）
	100	4.84E+1 （7.17E-1）-	8.56E+1 （5.94E-1）=	8.44E+1 （6.24E-1）
DTLZ7	20	2.95E+0 （7.02E-1）+	2.18E+0 （3.83E-1）-	2.66E+0 （3.71E-1）
	40	4.49E+0 （9.37E-1）-	8.85E+0 （2.17E-0）+	4.31E+0 （8.94E-1）
	60	5.22E+0 （5.76E-1）-	9.25E+0 （5.83E-1）=	8.26E+0 （6.55E-1）
	100	6.56E+0 （5.16E-1）+	1.24E+1 （5.08E-1）+	5.76E+0 （4.37E-1）

问题	维度	N-ARMOEA	K-ARMOEA	FEDA
WFG1	20	4.67E+2 （3.22E+1）+	3.83E+2 （3.78E+1）+	3.01E+2 （3.40E+1）
	40	8.54E+2 （5.40E+1）=	8.79E+2 （6.16E+1）=	8.73E+2 （5.83E+1）
	60	1.43E+3 （5.32E+1）+	1.46E+3 （6.04E+1）+	1.40E+3 （4.81E+1）
	100	2.58E+3 （6.83E+1）+	2.62E+3 （6.14E+1）+	2.49E+3 （7.24E+1）
WFG2	20	6.74E-1 （6.57E-2）-	7.14E-1 （7.84E-2）=	7.04E-1 （6.32E-2）
	40	1.95E+0 （1.24E-1）=	2.01E+0 （1.36E-1）=	1.86E+0 （1.18E-1）
	60	3.29E+0 （1.27E-1）=	3.31E+0 （1.82E-1）=	3.17E+0 （1.32E-1）
	100	5.85E+0 （1.41E-1）=	5.88E+0 （1.55E-1）=	5.75E+0 （1.47E-1）
WFG3	20	1.06E+3 （1.44E+2）+	1.07E+3 （1.40E+2）+	8.66E+2 （1.36E+2）
	40	2.77E+3 （1.53E+2）+	2.78E+3 （1.61E+2）+	2.58E+3 （6.70E+1）
	60	4.54E+3 （2.04E+2）+	4.51E+3 （2.13E+2）+	4.31E+3 （1.14E+2）
	100	8.28E+3 （2.14E+2）+	8.27E+3 （2.02E+2）+	7.89E+3 （1.81E+2）
WFG4	20	8.38E-1 （1.76E-1）-	9.54E-1 （7.49E-2）+	1.10E+0 （8.72E-1）
	40	2.20E+0 （1.58E-1）=	2.33E+0 （1.96E-1）+	2.22E+0 （1.84E-1）
	60	3.45E+0 （2.27E-1）+	3.68E+0 （1.75E-1）+	3.36E+0 （1.99E-1）
	100	6.34E+0 （2.17E-1）+	6.33E+0 （2.26E-1）+	6.07E+0 （1.84E-1）
WFG5	20	4.71E-1 （7.82E-2）+	5.31E-1 （7.49E-2）+	3.21E-1 （5.22E-2）
	40	1.92E+0 （1.24E-1）+	1.95E+0 （1.31E-1）+	1.79E+0 （9.44E-2）
	60	3.22E+0 （1.62E-1）=	3.24E+0 （1.87E-1）=	3.02E+0 （1.74E-1）
	100	6.14E+0 （1.47E-1）+	6.04E+0 （1.66E-1）+	5.61E+0 （1.16E-1）
WFG6	20	1.37E+1 （7.96E-1）=	1.30E+1 （5.44E-1）-	1.39E+1 （7.06E-1）
	40	3.15E+1 （4.52E-1）=	3.23E+1 （5.97E-1）+	3.15E+1 （4.17E-1）
	60	4.95E+1 （7.33E-1）+	4.78E+1 （5.11E-1）=	4.79E+1 （6.55E-1）
	100	4.84E+1 （7.17E-1）-	8.56E+1 （5.94E-1）=	8.44E+1 （6.24E-1）
WFG7	20	2.95E+0 （7.02E-1）+	2.18E+0 （3.83E-1）-	2.66E+0 （3.71E-1）
	40	4.49E+0 （9.37E-1）+	8.85E+0 （2.17E-0）+	5.61E+0 （8.94E-1）
	60	5.22E+0 （5.76E-1）-	9.25E+0 （5.83E-1）=	8.26E+0 （6.55E-1）
	100	6.56E+0 （5.16E-1）+	1.24E+1 （5.08E-1）+	5.76E+0 （4.37E-1）

问题	维度	N-ARMOEA	K-ARMOEA	FEDA
WFG1	20	4.67E+2 （3.22E+1）+	3.83E+2 （3.78E+1）+	3.01E+2 （3.40E+1）
	40	8.54E+2 （5.40E+1）=	8.79E+2 （6.16E+1）=	8.73E+2 （5.83E+1）
	60	1.43E+3 （5.32E+1）+	1.46E+3 （6.04E+1）+	1.40E+3 （4.81E+1）
	100	2.58E+3 （6.83E+1）+	2.62E+3 （6.14E+1）+	2.49E+3 （7.24E+1）
WFG2	20	6.74E-1 （6.57E-2）-	7.14E-1 （7.84E-2）=	7.04E-1 （6.32E-2）
	40	1.95E+0 （1.24E-1）=	2.01E+0 （1.36E-1）=	1.86E+0 （1.18E-1）
	60	3.29E+0 （1.27E-1）=	3.31E+0 （1.82E-1）=	3.17E+0 （1.32E-1）
	100	5.85E+0 （1.41E-1）=	5.88E+0 （1.55E-1）=	5.75E+0 （1.47E-1）
WFG3	20	1.06E+3 （1.44E+2）+	1.07E+3 （1.40E+2）+	8.66E+2 （1.36E+2）
	40	2.77E+3 （1.53E+2）+	2.78E+3 （1.61E+2）+	2.58E+3 （6.70E+1）
	60	4.54E+3 （2.04E+2）+	4.51E+3 （2.13E+2）+	4.31E+3 （1.14E+2）
	100	8.28E+3 （2.14E+2）+	8.27E+3 （2.02E+2）+	7.89E+3 （1.81E+2）
WFG4	20	8.38E-1 （1.76E-1）-	9.54E-1 （7.49E-2）+	1.10E+0 （8.72E-1）
	40	2.20E+0 （1.58E-1）=	2.33E+0 （1.96E-1）+	2.22E+0 （1.84E-1）
	60	3.45E+0 （2.27E-1）+	3.68E+0 （1.75E-1）+	3.36E+0 （1.99E-1）
	100	6.34E+0 （2.17E-1）+	6.33E+0 （2.26E-1）+	6.07E+0 （1.84E-1）
WFG5	20	4.71E-1 （7.82E-2）+	5.31E-1 （7.49E-2）+	3.21E-1 （5.22E-2）
	40	1.92E+0 （1.24E-1）+	1.95E+0 （1.31E-1）+	1.79E+0 （9.44E-2）
	60	3.22E+0 （1.62E-1）=	3.24E+0 （1.87E-1）=	3.02E+0 （1.74E-1）
	100	6.14E+0 （1.47E-1）+	6.04E+0 （1.66E-1）+	5.61E+0 （1.16E-1）
WFG6	20	1.37E+1 （7.96E-1）=	1.30E+1 （5.44E-1）-	1.39E+1 （7.06E-1）
	40	3.15E+1 （4.52E-1）=	3.23E+1 （5.97E-1）+	3.15E+1 （4.17E-1）
	60	4.95E+1 （7.33E-1）+	4.78E+1 （5.11E-1）=	4.79E+1 （6.55E-1）
	100	4.84E+1 （7.17E-1）-	8.56E+1 （5.94E-1）=	8.44E+1 （6.24E-1）
WFG7	20	2.95E+0 （7.02E-1）+	2.18E+0 （3.83E-1）-	2.66E+0 （3.71E-1）
	40	4.49E+0 （9.37E-1）+	8.85E+0 （2.17E-0）+	5.61E+0 （8.94E-1）
	60	5.22E+0 （5.76E-1）-	9.25E+0 （5.83E-1）=	8.26E+0 （6.55E-1）
	100	6.56E+0 （5.16E-1）+	1.24E+1 （5.08E-1）+	5.76E+0 （4.37E-1）

问题	维度	FEDA-AROMEA	FEDA-DS	FEDA-AE
WFG1	20	3.01E+2 （3.40E+1）	3.83E+2 （3.78E+1）+	4.67E+2 （3.22E+1）+
WFG2	20	7.04E-1 （6.32E-2）	7.14E-1 （7.84E-2）=	6.74E-1 （6.57E-2）-
WFG3	20	8.66E+2 （1.36E+2）	1.07E+3 （1.40E+2）+	1.06E+3 （1.44E+2）+
WFG4	20	1.10E+0 （8.72E-1）	9.54E-1 （7.49E-2）+	8.38E-1 （1.76E-1）-
WFG5	20	3.21E-1 （5.22E-2）	5.31E-1 （7.49E-2）+	4.71E-1 （7.82E-2）+
WFG6	20	1.29E+1 （7.06E-1）	1.30E+1 （5.44E-1）+	1.37E+1 （7.96E-1）=
WFG7	20	2.66E+0 （3.71E-1）	2.18E+0 （3.83E-1）-	2.95E+0 （7.02E-1）+
WFG8	20	8.66E+2 （1.36E+2）	1.07E+3 （1.40E+2）+	1.06E+3 （1.44E+2）+
WFG9	20	3.01E+2 （3.40E+1）	3.83E+2 （3.78E+1）+	4.67E+2 （3.22E+1）+

Agent model for hyperparameter self-optimization of deep classification model

面向深度分类模型超参数自优化的代理模型

RichHTML

PDF

Knowledge

Abstract

Cite this article

share this article

Figures/Tables 16

References 24

Related Articles 15

Recommended Articles

Metrics

问题	M	FEDA-ARMOEA	EDN-ARMOEA	HeE-MOEA	CMOEA-MS
DTLZ1	3	3.74E+2 （3.73E+1）	3.76E+2 （3.98E+1）-	3.75E+2 （4.69E+1）-	3.80E+2 （6.05E+1）-
	5	2.74E+2 （2.50E+1）	2.91E+2 （2.82E+1）-	2.86E+2 （3.18E+1）-	2.93E+2 （4.19E+1）-
	8	2.00E+2 （2.89E+1）	2.16E+2 （2.23E+1）-	2.01E+2 （3.79E+1）-	2.23E+2 （7.12E+1）-
	10	1.60E+2 （2.35E+1）	1.64E+2 （2.02E+1）-	1.58E+2 （2.61E+1）+	1.60E+2 （3.25E+1）-
DTLZ2	3	9.01E-1 （4.65E-2）	9.00E-1 （3.99E-2）+	9.11E-1 （4.84E-2）-	9.04E-1 （5.26E-2）-
	5	9.74E-1 （5.27E-2）	9.82E-1 （3.85E-2）-	9.79E-1 （4.50E-2）-	9.79E-1 （7.65E-2）-
	8	1.05E+0 （3.23E-2）	1.06E+0 （3.74E-2）-	1.06E+0 （3.49E-2）-	1.10E+0 （4.98E-2）-
	10	1.06E+0 （3.20E-2）	1.07E+0 （3.51E-2）-	1.06E+0 （2.47E-2）-	1.08E+0 （3.47E-2）-
DTLZ3	3	1.10E+3 （1.08E+2）	1.12E+3 （1.17E+2）-	1.14E+3 （9.21E+1）-	1.14E+3 （4.13E+1）-
	5	9.57E+2 （9.89E+1）	9.69E+2 （1.17E+2）-	9.93E+2 （1.01E+2）-	9.87E+2 （2.35E+2）-
	8	7.12E+2 （7.88E+1）	7.01E+3 （9.78E+1）-	7.10E+2 （1.06E+2）-	6.98E+2 （3.12E+2）+
	10	5.44E+3 （7.32E+2）	5.64E+3 （8.39E+1）-	5.56E+2 （9.17E+1）-	5.73E+2 （8.16E+1）-
DTLZ4	3	1.28E+0 （8.88E-2）	1.28E+0 （8.50E-2）-	1.28E+0 （8.68E-2）-	1.29E+0 （3.45E-2）-
	5	1.30E+0 （7.88E-2）	1.35E+0 （7.70E-2）-	1.31E+0 （7.82E-2）-	1.33E+0 （6.18E-2）-
	8	1.24E+0 （6.63E-2）	1.27E+0 （6.57E-2）-	1.26E+0 （6.33E-2）-	1.28E+0 （4.66E-2）-
	10	1.19E+0 （4.24E-2）	1.20E+0 （5.61E-2）-	1.19E+0 （4.31E-2）-	1.20E+0 （1.98E-2）-
DTLZ5	3	8.40E-1 （5.59E-2）	8.30E-1 （5.65E-2）+	8.44E-1 （5.86E-2）-	8.34E-1（7.71E-2）-
	5	7.24E-1 （7.52E-2）	7.18E-1 （5.96E-2）-	7.37E-1 （4.97E-2）-	7.13E-1（5.25E-2）+
	8	5.45E-1 （4.48E-2）	5.59E-1 （4.89E-2）-	5.58E-1 （4.18E-2）-	5.50E-1（5.62E-2）-
	10	4.20E+0 （4.91E-2）	4.44E-1 （4.17E-2）-	4.30E-1 （3.82E-2）-	4.30E-1（4.32E-2）-
DTLZ6	3	1.54E+1 （1.78E-1）	1.54E+1 （1.31E-1） -	1.54E+1 （1.07E-1）-	1.60E+1 （7.22E-1）-
	5	1.36E+1 （1.54E-1）	1.37E+1 （1.29E-1） -	1.36E+1 （1.47E-1）-	1.39E+1 （2.21E-1）-
	8	1.11E+1 （1.34E-1）	1.10E+1 （1.48E-1） -	1.10E+1 （1.36E-1）+	1.13E+1 （1.78E-1）=
	10	9.13E+0 （1.05E-1）	9.29E+0 （1.06E-1） -	9.30E+0 （8.60E-2）-	9.30E+0 （7.41E-2）-
DTLZ7	3	8.07E+0 （7.85E-1）	8.18E+0 （7.17E-1） -	8.39E+0 （6.60E-1）-	8.21E+0 （9.61E-1）-
	5	1.31E+1 （1.30E+0）	1.33E+1 （1.24E+0） -	1.36E+1 （1.39E+0）-	1.37E+1 （2.10E+0）-
	8	2.00E+1 （2.30E+0）	2.02E+1 （2.00E+0） -	2.00E+1 （2.11E+0）-	2.01E+1 （2.03E+0）-
	10	2.38E+1 （2.59E+0）	2.35E+1（3.10E+0） +	2.43E+1 （3.75E+0）-	2.40E+1 （7.62E+0）-

问题	M	FEDA-ARMOEA	EDN-ARMOEA	HeE-MOREA	CMOEA-MS
DTLZ1	3	9.05E+2 （5.62E+1）	9.08E+2 （5.16E+1） -	9.17E+2 （4.95E+1）-	9.10E+2 （4.60E+1）-
	5	7.45E+2 （2.86E+1）	7.39E+2 （4.78E+1） -	7.22E+2 （4.64E+1）+	7.26E+2 （4.69E+1）-
	8	6.07E+2 （4.90E+1）	6.08E+2 （4.76E+1） -	6.16E+2 （4.16E+1）-	6.12E+2 （4.59E+1）-
	10	5.47E+2 （4.16E+1）	5.57E+2 （5.47E+1） -	5.63E+2 （5.86E+1）-	5.76E+2 （4.97E+1）-
DTLZ2	3	2.06E+0 （9.75E-2）	2.05E+0 （1.19E-1） +	2.06E+0 （1.14E-1）-	2.07E+0 （9.58E-2）-
	5	2.11E+0 （1.23E-1）	2.14E+0 （1.03E-1） -	2.13E+0 （8.83E-2）-	2.16E+0 （8.36E-2）-
	8	2.15E+0 （8.58E-2）	2.18E+0 （9.52E-2） -	2.17E+0 （6.68E-2）-	2.17E+0 （9.69E-2）-
	10	2.10E+0 （8.08E-2）	2.12E+0 （8.35E-2） -	2.10E+0 （9.01E-2）-	2.11E+0 （1.08E-1）-
DTLZ3	3	2.76E+3 （1.34E+2）	2.87E+3 （1.44E+2） -	2.78E+3 （1.48E+2）-	2.83E+3（1.49E+2）-
	5	2.61E+3 （1.81E+2）	2.60E+3 （1.73E+2） -	2.59E+3 （1.60E+2）+	2.63E+3（1.50E+2）-
	8	2.34E+3 （1.59E+2）	2.36E+3 （1.26E+2） -	2.36E+3 （1.46E+2）-	2.34E+3（1.12E+2）-
	10	2.11E+3 （1.59E+2）	2.11E+3 （1.68E+2） -	2.20E+3 （1.53E+2）-	2.19E+3（1.44E+2）-
DTLZ4	3	2.46E+0 （1.24E-1）	2.46E+0 （1.21E-1） -	2.48E+0 （9.96E-2）-	2.46E+0 （1.17E-1）-
	5	2.46E+0 （1.05E-1）	2.46E+0 （1.25E-1） -	2.50E+0 （1.01E-1）-	2.48E+0 （1.16E-1）-
	8	2.39E+0 （8.52E-2）	2.36E+0 （9.23E-2） -	2.40E+0 （6.16E-2）-	2.35E+0 （1.17E-1）+
	10	2.28E+0 （7.91E-2）	2.30E+0 （6.65E-2） -	2.31E+0 （7.22E-2）-	2.29E+0 （8.47E-2）-
DTLZ5	3	2.02E+0 （1.09E-1）	2.03E+0 （1.44E-1） -	2.04E+0 （9.52E-2）-	2.02E+0 （1.27E-1）-
	5	1.90E+0 （9.59E-2）	1.91E+0 （9.94E-2） -	1.91E+0 （1.21E-1）-	1.94E+0 （1.14E-1）-
	8	1.69E+0 （1.23E-1）	1.71E+0 （1.34E-1） -	1.72E+0 （8.92E-2）-	1.70E+0 （9.51E-2）-
	10	1.55E+0 （1.21E-1）	1.62E+0 （1.03E-1） -	1.60E+0 （7.85E-2）-	1.57E+0 （9.85E-2）-
DTLZ6	3	3.30E+1 （2.12E-1）	3.30E+1 （2.12E-1） -	3.31E+1 （1.56E-1）-	3.30E+1 （1.98E-1）-
	5	3.12E+1 （2.68E-1）	3.13E+1 （1.97E-1） -	3.13E+1 （1.99E-1）-	3.13E+1 （2.11E-1）-
	8	2.86E+1 （1.81E-1）	2.86E+1 （2.22E-1） -	2.85E+1 （2.33E-1）+	2.86E+1 （2.01E-1）=
	10	2.69E+1 （1.77E-1）	2.68E+1 （1.71E-1） +	2.69E+1 （1.87E-1）-	2.68E+1 （2.15E-1）=
DTLZ7	3	9.02E+0 （6.00E-1）	9.09E+0 （6.19E-1） -	9.04E+0 （5.10E-1）-	9.07E+0 （5.46E-1）=
	5	1.53E+1 （8.33E-1）	1.56E+1 （7.46E-1） -	1.56E+1 （9.09E-1）-	1.54E+1 （8.05E-1）-
	8	2.47E+1 （1.72E+0）	2.54E+1 （1.23E+0） -	2.52E+1 （1.72E+0）-	2.50E+1 （1.52E+0）-
	10	3.14E+1 （1.81E+0）	3.07E+1 （2.15E+0） +	3.08E+1 （1.62E+0）-	3.09E+1 （2.09E+0）-

待优化参数	搜索范围
卷积核大小	（1×1）、（3×3）、（5×5）、（7×7）
卷积层激活函数	ReLU、sigmoid、ReLU6、tanh、Softsign、LReLU
梯度下降函数	Adam、SGD、Adamx、Adadelta、 AdamW、ASGD、RMSprop
学习率	［10^-5，10^-1］
批次大小	［4，16］

待优化参数	搜索范围
卷积核通道数	［32，512］
池化方式	Maxpool、Avgpool
全连接层节点数	［16，1 024］
学习率	［10^-5，10^-1］
批次大小	［4，16］
梯度下降函数	Adam、Adamx、SGD、ASGD

基线模型	MobileNetV3（MTF任务）		VGG-16（CIFAR-10任务）
基线模型	训练时间/h	最高精度/%	训练时间/h	最高精度/%
ARMOEA^［21］	7.59	94.72	26.85	92.32
CMOEA-MS^［20］	6.80	94.32	23.80	93.12
HeE-MOEA^［14］	5.76	95.58	20.13	93.28
EDN- ARMOEA^［13］	4.32	94.50	17.12	92.20
FEDA-ARMOEA	4.02	96.16	16.36	93.79

[1]	Junchi GE, Weihua ZHAO. Distance weighted discriminant analysis based on robust principal component analysis for matrix data [J]. Journal of Computer Applications, 2024, 44(7): 2073-2079.
[2]	Wei SHE, Yang LI, Lihong ZHONG, Defeng KONG, Zhao TIAN. Hyperparameter optimization for neural network based on improved real coding genetic algorithm [J]. Journal of Computer Applications, 2024, 44(3): 671-676.
[3]	Jie LIANG, Xiaoyan HAO, Yongle CHEN. Poisoning attack toward visual classification model [J]. Journal of Computer Applications, 2023, 43(2): 467-473.
[4]	Wanjun LIU, Jiaming WANG, Haicheng QU, Libing DONG, Xinyu CAO. Music genre classification algorithm based on attention spectral-spatial feature [J]. Journal of Computer Applications, 2022, 42(7): 2072-2077.
[5]	Wenqiu ZHU, Guang ZOU, Zhigao ZENG. Object tracking algorithm with hierarchical features and hybrid attention [J]. Journal of Computer Applications, 2022, 42(3): 833-843.
[6]	Zhaoxia DAI, Yudong CAO, Guangming ZHU, Peiyi SHEN, Xu XU, Lin MEI, Liang ZHANG. Specific knowledge learning based on knowledge distillation [J]. Journal of Computer Applications, 2021, 41(12): 3426-3431.
[7]	ZHENG Zongsheng, HU Chenyu, JIANG Xiaoyi. Deep transfer adaptation network based on improved maximum mean discrepancy algorithm [J]. Journal of Computer Applications, 2020, 40(11): 3107-3112.
[8]	OUYANG Ning, LIANG Ting, LIN Leping. Self-attention network based image super-resolution [J]. Journal of Computer Applications, 2019, 39(8): 2391-2395.
[9]	DENG Zhonghao, CHEN Xiaodong. Pulmonary nodule detection algorithm based on deep convolutional neural network [J]. Journal of Computer Applications, 2019, 39(7): 2109-2115.
[10]	SHAO Changcheng, CHEN Pinghua. Point-of-interest recommendation integrating social networks and image contents [J]. Journal of Computer Applications, 2019, 39(5): 1261-1268.
[11]	HU Xiuhua, WANG Changyuan, XIAO Feng, WANG Yawen. Object tracking algorithm based on correlation filter with spatial structure information [J]. Journal of Computer Applications, 2019, 39(4): 1150-1156.
[12]	WEI Xin, WU Shuhong, WANG Yaoli. Forest fire smoke detection model based on deep convolution long short-term memory network [J]. Journal of Computer Applications, 2019, 39(10): 2883-2887.
[13]	WANG Keli, YUAN Hongchun. Aquatic animal image classification method based on transfer learning [J]. Journal of Computer Applications, 2018, 38(5): 1304-1308.
[14]	GUO Xiao, TAN Wenan. High-performance image super-resolution restruction based on cascade deep convolutional network [J]. Journal of Computer Applications, 2017, 37(11): 3124-3127.
[15]	JIN Yan, PENG Xinguang. Composite classification model learned on multiple isolated subdomains for imbalanced class [J]. Journal of Computer Applications, 2016, 36(9): 2475-2480.