通过视觉分析探索神经架构搜索空间 [应用说明]

《IEEE Computational Intelligence Magazine》：Exploring Neural Architecture Search Spaces via Visual Analytics [Application Notes]

深度神经网络推动AI发展，但传统手动设计效率低。神经架构搜索（NAS）自动化优化架构，但缺乏可解释性。本文提出可视分析框架，通过低维映射和交互探索揭示架构与性能关系，经案例验证有效。

　　

摘要：

深度神经网络是推动人工智能（AI）加速发展的关键力量。然而，基于手动模型架构设计的传统方法由于其固有的低效率和可扩展性限制，似乎无法满足各种现代应用的需求。近年来，神经架构搜索（NAS）方法的出现为自动寻找最优模型架构提供了新的可能性。NAS基准测试的兴起也为NAS过程中高昂的评估成本问题提供了有效的解决方案。然而，一个重要的挑战仍然存在：大多数现有的NAS方法无法对基准搜索空间中发现的优秀模型架构进行解释。鉴于可视化分析方法在可解释AI领域的广泛应用，本文提出了一种可视化分析框架，以促进对NAS基准测试中所示搜索空间的交互式探索。该框架旨在帮助提取模型架构与性能指标之间的潜在关系。此外，本文还介绍了一种分析流程，该流程整合了多种数据处理技术，能够将不同类型的大规模搜索空间中的模型架构高效地映射到低维空间中，以便在可视化分析框架中进行分析。通过案例研究和用户研究证明了所提出框架的有效性。

引言

近年来，AI领域的许多重大进展都与神经网络结构的改进有关[1]、[2]。然而，针对特定任务或性能优化对神经网络的改进历来依赖于手动设计，即“设计-训练-测试”循环，这种循环使得试错过程成本高昂，并阻碍了神经网络架构设计范式的有效泛化及其作为先验知识的封装。为了解决这个问题，提出了神经架构搜索（NAS）方法[3]。该方法在特定的网络结构约束下训练和评估神经网络，并根据特定策略搜索具有最佳评估结果的网络结构[4]、[5]、[6]。