通过检测可疑神经元来增强深度神经网络模型的白盒测试输入生成方法

《ACM Transactions on Software Engineering and Methodology》：White-Box Test Input Generation for Enhancing Deep Neural Network Models through Suspicious Neuron Awareness

提出SUNTest新方法用于深度神经网络测试，通过执行谱分析定位可疑神经元，设计混合适应度函数结合故障揭示能力和测试输入多样性，采用自适应算子选择策略提升故障检测效果。实验表明该方法在8个DNN模型上检测故障类型比基线多80.9%，平均精度提升8.04%。

　　

摘要

深度神经网络（DNN）测试已成为发现DNN模型中错误行为并进一步提升其性能的有效方法。关于测试输入生成的研究受到了研究人员和实践者的广泛关注，旨在暴露模型中的缺陷。新生成的输入随后作为额外的训练实例，通过重新训练来优化模型。现有方法通过基于测试指标（如神经元覆盖率和与属性相关的指标）优化目标函数来生成测试输入，并利用目标函数的梯度来扰动初始输入。然而，这些方法对模型的决策逻辑关注较少，特别是训练过程中学到的错误决策模式。此外，它们主要关注检测缺陷，而没有考虑检测到的错误行为的多样性，这限制了模型通过重新训练学习多样化特征的能力。为了解决这些局限性，本文提出了SUNTest，这是一种新颖的测试输入生成方法，旨在检测多种缺陷并增强DNN模型的鲁棒性。SUNTest通过执行谱分析定位导致错误行为的可疑神经元，从而关注错误决策过程。为了引导输入变异以引发多种缺陷，SUNTest设计了一个混合适应度函数，该函数结合了两种来自神经元行为的反馈：一种是由可疑神经元引导的测试输入的缺陷揭示能力，另一种是测试输入的多样性。此外，SUNTest采用了一种自适应选择策略来选择变异操作符，以优先选择可能引发新缺陷类型的操作符，并在每次迭代中提高适应度值。在八个DNN模型上进行的实验表明，SUNTest在缺陷定位和测试输入生成方面非常有效。它在检测到的缺陷数量上优于现有的测试输入生成方法，最多发现了80.9种不同的缺陷类型。在模型增强方面，与基线方法相比，SUNTest的平均准确率提高了8.04%。