采用渐进式评估和子种群保留的神经架构搜索

《IEEE Transactions on Evolutionary Computation》：Neural Architecture Search with Progressive Evaluation and Subpopulation Preservation

提出渐进式评估与子种群保留策略，有效降低卷积神经网络架构搜索（NAS）的评估计算成本，同时维持种群多样性。实验表明该方法在CIFAR10、CIFAR100和ImageNet上分别实现2.38%、16.46%和26.25%的错误率，搜索效率提升显著。

　　

摘要：

神经架构搜索（NAS）是一种自动化设计深度神经网络的有效方法。由于其全局优化能力，进化计算（EC）常被用于NAS中。然而，在基于EC的NAS中，对架构候选者的评估阶段计算量较大，这限制了其在许多实际问题中的应用。为了解决这一挑战，我们提出了一种新颖的渐进式评估策略，用于卷积神经网络架构搜索的评估阶段，该策略逐步增加网络个体的训练周期数。此外，还提出了一种子种群保留策略，以保留中等规模和大规模的架构，避免过早丢弃那些在早期阶段表现不佳但具有进一步优化潜力的网络。我们提出的算法通过基于分布保留有前景的网络，降低了评估阶段的计算成本，并促进了种群的多样性和公平性。我们在CIFAR10、CIFAR100和ImageNet基准数据集上评估了这种渐进式评估和子种群保留的NAS（PEPNAS）算法，并将其与36种最先进的算法进行了比较，这些算法包括手动设计的网络、强化学习（RL）算法、基于梯度的算法以及其他基于EC的算法。实验结果表明，PEPNAS能够有效识别出具有竞争力的网络，同时显著提高了搜索过程的效率。例如，PEPNAS仅使用0.7个GPU日的训练时间，就在CIFAR10上发现了错误率为2.38%的架构。我们直接采用这种搜索到的架构对CIFAR100和ImageNet数据集进行图像分类，分别实现了16.46%和26.25%的最低错误率。代码可在https://github.com/chajiajie/PEPNAS获取。

引言

深度学习[1]已被广泛应用于各个领域，包括语音识别[2]、图像识别[3]、语义分割[4][5]和自然语言处理[6][7]。卷积神经网络（CNN）是深度学习中广泛使用的一种网络类型，通常由卷积层、池化层和全连接层组成。深度学习模型的性能取决于其架构和权重参数。因此，许多深度学习领域的研究人员致力于设计新的架构。到目前为止，他们已经设计了诸如AlexNet[8]、VGG[9]、GoogleNet[10]、ResNet[11][12]和DenseNet[13]等优秀的神经网络架构。然而，设计这样的架构通常需要CNN领域的专业知识以及大量专家的手动调整，这使得整个过程耗时且劳动强度高。此外，神经网络架构的设计必须针对特定任务进行定制，而在一个任务上表现良好的手动设计架构可能无法很好地泛化到其他任务。因此，自动化设计神经架构的神经架构搜索（NAS）[14]技术受到了深度学习领域的广泛关注，有效地解决了手动设计架构的局限性。