扩散引导的进化神经架构搜索算法

doi:10.11772/j.issn.1001-9081.2026010044

《计算机应用》唯一官方网站 ›› 2026, Vol. 46 ›› Issue (8): 2411-2420.DOI: 10.11772/j.issn.1001-9081.2026010044

扩散引导的进化神经架构搜索算法

汤泽宇, 温晓易, 谢在鹏()

河海大学计算机与软件学院，南京 211100

收稿日期:2026-01-20 修回日期:2026-03-19 接受日期:2026-04-02 发布日期:2026-04-23 出版日期:2026-08-10
通讯作者: 谢在鹏
作者简介:汤泽宇（2000—），男，江苏宿迁人，硕士研究生，CCF会员，主要研究方向：神经架构搜索、进化计算
温晓易（2004—），男，福建龙岩人，主要研究方向：神经架构搜索
谢在鹏（1982—），男，江苏扬州人，副教授，博士，CCF会员，主要研究方向：神经架构搜索、进化计算、生成式模型。
基金资助:
水灾害防御全国重点实验室“一带一路”水资源与可持续发展科技基金资助项目(2021490811)

Diffusion-guided evolutionary neural architecture search algorithm

Zeyu TANG, Xiaoyi WEN, Zaipeng XIE()

College of Computer Science and Software Engineering，Hohai University，Nanjing Jiangsu 211100，China

Received:2026-01-20 Revised:2026-03-19 Accepted:2026-04-02 Online:2026-04-23 Published:2026-08-10
Contact: Zaipeng XIE
About author:TANG Zeyu， born in 2000， M. S. candidate. His research interests include neural architecture search， evolutionary computation.
WEN Xiaoyi， born in 2004. His research interests include neural architecture search.
Supported by:
National Key Laboratory of Water Disaster Prevention “Belt and Road” Water Resources and Sustainable Development Science and Technology Fund(2021490811)

摘要/Abstract

摘要：

进化算法（EA）在神经架构搜索（NAS）中因具备较强全局探索能力而被广泛采用。然而，传统变异方式常缺乏性能信息引导，且局部开发能力有限，导致搜索效率与架构质量提升受限。因此，提出一种扩散引导的进化NAS （DGEA）算法，利用分布感知与偏置控制机制共同提升变异质量和搜索能力。该算法的核心是利用离散扩散模型生成结构化扰动，通过从高性能架构分布中学习到的结构先验，执行可控的噪声添加与条件去噪以生成新的高性能架构。同时，引入自适应变异策略动态平衡探索与利用；此外，集成一个轻量级的和声搜索（HS）算子作为局部增强模块微调架构邻域，以抑制早熟收敛。在NAS-Bench-101、NAS-Bench-201以及ImageNet100迁移任务上的实验结果表明，DGEA显著提升了搜索效率与效果。在相近的计算预算下，相较于EG-NAS （Neural Architecture Search with Fast Evolutionary Exploration）、GEA （Guided Evolutionary NAS with Efficient Performance Estimation）和REA （Regularized Evolution for Image Classifier Architecture Search），DGEA达到相同准确率水平所需架构评估数量减少10%~84%，准确率整体提升0.28~0.42个百分点。消融实验证实了扩散引导变异（DGM）机制和HS模块的贡献以及协同作用。通过整合分布感知的生成式变异与自适应HS局部优化，DGEA有效提升了进化搜索的动态性能与收敛稳定性。

关键词: 神经架构搜索, 进化算法, 扩散引导变异, 分布建模, 和声搜索, 局部优化

Abstract:

Evolutionary Algorithms （EAs） are widely adopted in Neural Architecture Search （NAS） due to their strong global exploration capability. However， traditional mutation ways often lack performance information guidance and have limited local exploitation capability， thereby constraining search efficiency and architecture quality. Therefore， this paper proposed a Diffusion-Guided Evolutionary NAS （DGEA） algorithm to enhance mutation quality and search capability jointly via distribution-aware and bias control mechanisms. The core of DGEA is to use a discrete diffusion model to generate structural perturbations， aiding evolutionary search process. By learning structural priors from the distribution of high-performance architectures， DGEA performed controlled noise addition and conditional denoising to create new high-performance architecture. At the same time， DGEA introduced an adaptive mutation strategy to balance exploration and exploitation dynamically. Besides， DGEA integrated a lightweight Harmony Search （HS） operator as local enhancement module for fine-tuning neighborhoods， thereby suppressing premature convergence. Experimental results on NAS-Bench-101， NAS-Bench-201， and ImageNet100 transfer tasks show that DGEA boosts search efficiency and effectiveness significantly. Under similar computational budgets， compared to EG-NAS （Neural Architecture Search with Fast Evolutionary Exploration）， GEA （Guided Evolutionary Neural Architecture Search with Efficient Performance Estimation） and REA （Regularized Evolution for Image Classifier Architecture Search）， DGEA reduces the architecture evaluations needed to reach the same accuracy level by 10%-84% with the overall accuracy gains of 0.28 to 0.42 percentage points. Ablation studies verify the contributions and synergistic effect of Diffusion-Guided Mutation （DGM） mechanism and HS module. It can be seen that by integrating distribution-aware generative mutation with adaptive HS local optimization， DGEA improves evolutionary search’s dynamic performance and convergence stability.

Key words: Neural Architecture Search (NAS), Evolutionary Algorithm (EA), Diffusion-Guided Mutation (DGM), distribution modeling, Harmony Search (HS), local optimization

中图分类号:

TP301.6

汤泽宇, 温晓易, 谢在鹏. 扩散引导的进化神经架构搜索算法[J]. 计算机应用, 2026, 46(8): 2411-2420.

Zeyu TANG, Xiaoyi WEN, Zaipeng XIE. Diffusion-guided evolutionary neural architecture search algorithm[J]. Journal of Computer Applications, 2026, 46(8): 2411-2420.

图/表 10

图1 卷积神经网络架构示例

Fig. 1 Examples of convolutional neural network architecture

图2 DGEA算法的执行流程

Fig. 2 Execution flow of DGEA algorithm

表1 在NAS-Bench-101和NAS-Bench-201数据集上的性能评估与对比

Tab. 1 Performance evaluation and comparison on NAS-Bench-101 and NAS-Bench-201 datasets

数据集	算法	验证准确率/%	测试准确率/%	参数量/10⁶	浮点运算量/MFLOPs	搜索策略
NAS-Bench-101 （CIFAR-10）	REA^［9］	94.61±0.21	93.81±0.24	23.3±7.0	6 876.6±2 050.6	EA
	EG-NAS^［19］	94.69±0.15	93.75±0.12	23.6±3.7	6 967.4±1 079.2	EA+Gradient
	ITP-ENAS^［12］	—	94.18±0.001	26.8±4.8	7 934.9±1 408.3	EA+Surrogate
	GEA^［11］	94.75±0.06	93.87±0.15	25.5±4.8	7 547.1±1 415.5	EA+Proxy
	SPNAS^［21］	94.90±0.20	94.16±0.10	28.1±4.3	8 302.2±1 255.1	EA+Predictor
	DiNAS^［14］	94.97±0.07	94.25±0.05	31.2±4.4	9 511.8±125.1	Diffusion
	DGEA	95.03±0.05	94.27±0.07	24.6±5.1	6 404.2±1 507.9	EA+Diff+HS
NAS-Bench-201 （ImageNet16-120）	REA^［9］	45.15±0.89	45.54±1.03	0.198±0.038	26.45±5.23	EA
	EG-NAS^［19］	44.89±0.29	44.89±0.29	0.202±0.039	27.02±5.44	EA+Gradient
	ITP-ENAS^［12］	46.10±0.44	46.40±0.34	0.214±0.035	28.63±4.95	EA+Surrogate
	GEA^［11］	46.40±0.34	46.04±0.67	0.225±0.029	30.21±4.07	EA+Proxy
	SPNAS^［21］	46.42±0.32	46.52±0.32	0.217±0.035	29.12±4.86	EA+Predictor
	DiNAS^［14］	46.63±0.11	45.76±0.47	0.221±0.017	29.64±2.38	Diffusion
	ParZC^［22］	—	46.34±0.04	0.220±0.037	29.48±5.18	Zero-shot
	DGEA	46.67±0.15	46.23±0.36	0.225±0.023	30.13±3.16	EA+Diff+HS

表2 在ImageNet100数据集上的性能评估与对比

Tab. 2 Performance evaluation and comparison on ImageNet100 dataset

算法	Top-1误差/%	Top-5误差/%	参数量/10⁶	浮点运算量/GFLOPs	搜索策略
REA^［9］	13.97	3.46	21.2	6.27	EA
EG-NAS^［19］	14.42	3.58	22.3	6.57	EA+Gradient
ITP-ENAS^［12］	13.66	3.37	30.5	9.57	EA+Surrogate
GEA^［11］	13.83	3.43	23.1	6.84	EA+Proxy
SPNAS^［21］	13.68	3.38	31.4	9.27	EA+Predictor
DiNAS^［14］	13.50	3.35	32.4	9.57	Diffusion
DGEA	13.17	3.34	24.0	7.12	EA+Diff+HS

图3 算法实时性能分析

Fig. 3 Real-time performance analysis of algorithms

表3 NAS-Bench-101数据集上不同变异率下的消融实验结果

Tab. 3 Ablation experimental results under different mutation rates on NAS-Bench-101 dataset

算法	不同变异率的验证准确率/%
算法	变异率=0.2	变异率=0.5	变异率=0.7
GA-Only	94.61±0.24	94.62±0.15	94.54±0.26
GA+HS	94.80±0.07	94.77±0.08	94.78±0.07
GA+DGM	94.87±0.06	94.94±0.11	94.88±0.05
DGEA	95.03±0.05	95.02±0.06	95.02±0.07

图4 不同变异率下各算法在NAS-Bench-101数据集上的消融性能对比

Fig. 4 Ablation performance comparison of different algorithms under different mutation rates on NAS-Bench-101 dataset

表4 DGEA关键超参数的消融分析

Tab. 4 Ablation analysis of key hyperparameters in DGEA

超参数	值	Acc/%	Cost/s	CG	EC
$P s$	15	94.72±0.02	1 097±67
	30	94.84±0.04	2 075±36
	50	95.03±0.05	3436±112
	80	95.03±0.08	5 539±82
	100	94.94±0.11	7 001±182
$α$	1.00	94.77±0.07		77±4
	1.01	94.98±0.08		59±5
	1.02	95.03±0.05		49±3
	1.04	94.93±0.07		61±4
	1.06	94.91±0.10		61±4
$K$	1	95.02±0.04			100
	2	94.99±0.07			50
	4	95.00±0.05			25
	8	94.86±0.12			12
	Adaptive	95.03±0.05			51±8

表4 DGEA关键超参数的消融分析

Tab. 4 Ablation analysis of key hyperparameters in DGEA

超参数	值	Acc/%	Cost/s	CG	EC
$P s$	15	94.72±0.02	1 097±67
	30	94.84±0.04	2 075±36
	50	95.03±0.05	3436±112
	80	95.03±0.08	5 539±82
	100	94.94±0.11	7 001±182
$α$	1.00	94.77±0.07		77±4
	1.01	94.98±0.08		59±5
	1.02	95.03±0.05		49±3
	1.04	94.93±0.07		61±4
	1.06	94.91±0.10		61±4
$K$	1	95.02±0.04			100
	2	94.99±0.07			50
	4	95.00±0.05			25
	8	94.86±0.12			12
	Adaptive	95.03±0.05			51±8

图5 随机初始化扩散模型下的性能对比

Fig. 5 Performance comparison under random initialized diffusion model

表5 结构有效性和准确率分析 (%)

Tab. 5 Structural effectiveness and accuracy analysis

算法	最大准确率	平均准确率	架构有效性
GA-Only	94.71	89.41	94.1
DGEA-Rand	94.68	89.77	97.0
DGEA	94.81	90.02	100.0
Initial	94.71	89.49	100.0

参考文献 22

[1]	Elsken T， Metzen J H， Hutter F. Neural architecture search： a survey［J］. Journal of Machine Learning Research， 2019， 20： 1-21.
[2]	孙仁科，皇甫志宇，陈虎，等. 神经架构搜索综述［J］. 计算机应用， 2024， 44（10）： 2983-2994.
	Sun Renke， Huangfu Zhiyu， Chen Hu， et al. Survey of neural architecture search［J］. Journal of Computer Applications， 2024， 44（10）： 2983-2994.
[3]	Shao W. A survey on neural architecture search based on reinforcement learning［PP/OL］. V2. arXiv （2024-09-30）［2025-09-20］..
[4]	王涵，于瑞祺，任爽. 可微神经架构搜索方法综述［J/OL］. 计算机应用（2025-12-25）［2026-01-18］..
	Wang Han， Yu Ruiqi， Ren Shuang. Survey on differentiable neural architecture search methods［J/OL］. Journal of Computer Applications （2025-12-25）［2026-01-18］..
[5]	White C， Neiswanger W， Savani Y. BANANAS： Bayesian optimization with neural architectures for neural architecture search［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2021， 35（12）： 10293-10301.
[6]	蒋鹏程，薛羽. 基于排序得分预测的演化神经架构搜索方法［J］. 计算机学报， 2024， 47（11）： 2522-2535.
	Jiang Pengcheng， Xue Yu. Evolutionary neural architecture search with predictor of ranking-based score［J］. Chinese Journal of Computers， 2024， 47（11）： 2522-2535.
[7]	Ren P， Xiao Y， Chang X， et al. A comprehensive survey of neural architecture search： challenges and solutions［J］. ACM Computing Surveys， 2022， 54（4）： No.76.
[8]	Real E， Moore S， Selle A， et al. Large-scale evolution of image classifiers［J］. Proceedings of Machine Learning Research， 2017， 70： 2902-2911.
[9]	Real E， Aggarwal A， Huang Y， et al. Regularized evolution for image classifier architecture search［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2019， 33（1）： 4780-4789.
[10]	Sinha N， Chen K W. Neural architecture search using progressive evolution［C］// GECCO 2022. New York： ACM， 2022： 1093-1101.
[11]	Lopes V， Santos M， Degardin B， et al. Guided evolutionary neural architecture search with efficient performance estimation［J］. Neurocomputing， 2024， 584： No.127509.
[12]	Jiang P， Xue Y， Neri F， et al. Surrogate-assisted evolutionary neural architecture search with isomorphic training and prediction［C］// ICIC 2024， LNCS 14863. Singapore： Springer， 2024： 191-203.
[13]	An S， Lee H， Jo J， et al. DiffusionNAG： predictor-guided neural architecture generation with diffusion models［PP/OL］. V4. arXiv （2024-03-24）［2025-09-20］..
[14]	Asthana R， Conrad J， Dawoud Y， et al. Multi-conditioned graph diffusion for neural architecture search［PP/OL］. V2. arXiv （2024-03-22）［2025-09-20］..
[15]	Ying C， Klein A， Christiansen E， et al. NAS-Bench-101： towards reproducible neural architecture search［J］. Proceedings of Machine Learning Research， 2019， 97： 7105-7114.
[16]	Dong X， Yang Y. NAS-Bench-201： extending the scope of reproducible neural architecture search［PP/OL］. V2. arXiv （2020-01-15）［2025-09-20］..
[17]	Tian Y， Krishnan D， Isola P. Contrastive multiview coding［C］// ECCV 2020， LNCS 12356. Cham： Springer， 2020： 776-794.
[18]	Zhang T， Lei C， Zhang Z， et al. AS-NAS： adaptive scalable neural architecture search with reinforced evolutionary algorithm for deep learning［J］. IEEE Transactions on Evolutionary Computation， 2021， 25（5）： 830-841.
[19]	Cai Z， Chen L， Liu P， et al. EG-NAS： neural architecture search with fast evolutionary exploration［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2024， 38（10）： 11159-11167.
[20]	Chen Y， Meng G， Zhang Q， et al. RENAS： reinforced evolutionary neural architecture search［C］// CVPR 2019. Piscataway： IEEE， 2019： 4782-4791.
[21]	Jiang P， Xue Y， Neri F. Score predictor-assisted evolutionary neural architecture search［J］. IEEE Transactions on Emerging Topics in Computational Intelligence， 2025（Early Access）： 1-15.
[22]	Dong P， Li L， Tang Z， et al. ParZC： parametric zero-cost proxies for efficient NAS［J］. Proceedings of the AAAI Conference on Artificial Intelligence， 2025， 39（15）： 16327-16335.

扩散引导的进化神经架构搜索算法

Diffusion-guided evolutionary neural architecture search algorithm

RichHTML

PDF

可视化

摘要/Abstract

引用本文

使用本文

图/表 10

参考文献 22

相关文章 15

编辑推荐

Metrics

[1]	李玉, 陈学刚. 基于改进局部搜索的师徒进化算法求解最小弱连通支配集问题[J]. 《计算机应用》唯一官方网站, 2026, 46(7): 2239-2249.
[2]	郭京蕾, 刘诗源, 姜守勇. 基于子区域的超多目标进化算法[J]. 《计算机应用》唯一官方网站, 2026, 46(4): 1199-1210.
[3]	郭纪新, 张婷. 基于组件协同优化剪枝的Transformer图像去雾[J]. 《计算机应用》唯一官方网站, 2026, 46(3): 933-939.
[4]	熊前龙, 秦进. 混合启发信息指导神经网络架构搜索算法[J]. 《计算机应用》唯一官方网站, 2026, 46(2): 395-405.
[5]	张春雨, 刘建昌, 刘圆超, 张伟. 基于两阶段填充采样的昂贵多目标进化算法[J]. 《计算机应用》唯一官方网站, 2026, 46(2): 485-496.
[6]	冉敏, 潘大志. 融合变异策略与邻接信息的差分进化算法[J]. 《计算机应用》唯一官方网站, 2026, 46(1): 188-197.
[7]	袁志超, 杨磊, 田井林, 魏晓威, 李康顺. 面向复杂约束多目标优化问题的双种群双阶段进化算法[J]. 《计算机应用》唯一官方网站, 2025, 45(8): 2656-2665.
[8]	田茂江, 陈鸣科, 堵威, 杜文莉. 面向大规模重叠问题的两阶段差分分组方法[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1348-1354.
[9]	张莞婷, 杜文莉, 堵威. 基于多时间尺度协同的大规模原油调度进化算法[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1355-1363.
[10]	赵佳伟, 陈雪峰, 冯亮, 候亚庆, 朱泽轩, Yew‑Soon Ong. 优化场景视角下的进化多任务优化综述[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1325-1337.
[11]	魏凤凤, 陈伟能. 分布式数据驱动的多约束进化优化算法[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1393-1400.
[12]	田野, 陈津津, 张兴义. 面向约束多目标优化的进化计算与梯度下降联合优化算法[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1386-1392.
[13]	赵楷文, 王鹏, 童向荣. 基于双阶段搜索的约束进化多任务优化算法[J]. 《计算机应用》唯一官方网站, 2024, 44(5): 1415-1422.
[14]	黄亚伟, 钱雪忠, 宋威. 基于双档案种群大小自适应方法的改进差分进化算法[J]. 《计算机应用》唯一官方网站, 2024, 44(12): 3844-3853.
[15]	黄杰, 武瑞梓, 李均利. 高效的自适应复杂网络鲁棒性优化算法[J]. 《计算机应用》唯一官方网站, 2024, 44(11): 3530-3539.