NeuSemSlice：通过神经元级别的语义切片实现高效深度神经网络模型维护

《ACM Transactions on Software Engineering and Methodology》：NeuSemSlice: Towards Effective DNN Model Maintenance via Neuron-level Semantic Slicing

DNN维护面临模型重构、迁移学习和增量开发挑战，传统层级方法难以精准处理神经元级语义组件。NeuSemSlice通过语义切片技术识别关键神经元，提出保留语义组件、调整关键神经元、训练非关键神经元的新策略，实验证明显著优于基线方法。

　　

摘要

深度神经网络（DNNs）被广泛应用于各个领域，其特点是具有集成化且一体化的架构，这使它们与传统软件系统有所不同。这种架构差异给维护任务带来了特殊挑战，例如模型重构（例如模型压缩）、重新适配（例如适应新样本）以及增量开发（例如持续知识积累）。

以往的研究通过识别对任务至关重要的神经元层，并将神经网络划分为语义相似的顺序模块来应对这些挑战。然而，这种基于层级的方法无法精确识别和操作神经元层面的语义组件，从而限制了其在更细粒度模型维护任务中的适用性。

在这项工作中，我们实现了NeuSemSlice这一新型框架，该框架引入了“语义切片”技术，能够有效识别DNN模型中关键神经元层面的语义组件，从而支持“基于语义的模型维护”任务。具体而言，“语义切片”根据神经元的语义相似性对它们进行识别、分类和合并，提高了后续任务的灵活性和有效性。

为了实现“基于语义的模型维护”任务，我们基于“语义切片”提出了一系列创新策略来增强NeuSemSlice的功能。这些策略包括：在模型重构过程中保留语义组件（即关键神经元）；在模型重新适配时调整关键神经元；以及在模型增量开发过程中训练非关键神经元。全面评估表明，NeuSemSlice在所有三项任务中的表现均显著优于基线方法。