%0 Journal Article %A 陈斌 %A 江志伟 %A 李建明 %A 覃健 %T 优化搜索空间下带约束的可微分神经网络架构搜索 %D 2022 %R 10.11772/j.issn.1001-9081.2021010170 %J 计算机应用 %P 44-49 %V 42 %N 1 %X

可微分架构搜索(DARTS)可高效、自动地设计神经网络架构,但其超网络的构建方式与派生策略的设计之间存在性能“鸿沟”。针对上述问题,提出了优化搜索空间下带约束的可微分神经网络架构搜索算法。首先,以候选操作关联的架构参数为量化指标来分析超网络的训练过程,发现在派生架构中未生效的候选操作none占据了权重最大的架构参数,从而导致算法搜得的架构表现欠佳,针对该问题设计了优化的搜索空间;然后,分析了DARTS超网络与派生架构之间的差异后,以架构参数为基础定义了架构熵,并把架构熵作为DARTS超网络目标函数的约束项,从而促使超网络缩小与派生架构的差异;最后,在CIFAR-10数据集上进行了实验。实验结果表明,所提算法在其中搜得的架构取得了97.17%的分类准确率,综合准确率、参数量和搜索时间优于对比算法。所提出的算法是有效的,提升了搜得架构在CIFAR-10数据集上的准确率。

%U http://www.joca.cn/CN/10.11772/j.issn.1001-9081.2021010170