集合：一种简单而有效的深度神经网络（DNN）测试选择方法

《ACM Transactions on Software Engineering and Methodology》：SETS: A Simple yet Effective DNN Test Selection Approach

深度神经网络测试中，传统多目标方法因计算量大而效率不足。本文提出SETS方法，通过优先选择高不确定性测试样本并采用高效贪心策略，在保证检测独特故障效果的同时，将平均执行速度提升42.98倍。

　　

摘要

为了降低深度神经网络（DNN）测试中大量的人工标注成本，人们提出了多种测试选择方法，其中不确定性是一个关键目标，用于触发更多的故障。然而，仅仅关注不确定性可能会暴露出由模型中相同潜在缺陷引起的故障。因此，最近的研究引入了多样性作为另一个重要目标，提出了基于多目标搜索的方法来选择能够揭示不同故障的测试输入。尽管这些方法有效，但它们通常需要较长的执行时间，这限制了它们在大规模数据集上的效率。在本文中，我们提出了SETS，这是一种简单而有效的多目标DNN测试选择方法。与现有的多目标方法类似，SETS同时优化不确定性和多样性，以最大化所选测试输入检测到的唯一故障数量。不过，SETS优先考虑高不确定性的测试输入以减少候选集的大小，并采用高效的贪婪策略进一步减少适应度评估的次数。因此，SETS在保持有效性的同时显著提高了选择效率。我们在八个测试对象上评估了SETS，证明了其相对于基线方法的显著优势。SETS的平均运行速度提高了42.98倍，同时仍然实现了更好的故障检测和模型重新训练效果，且实现方式非常简单。