空间敏感梯度加权类激活映射：通过融入空间敏感性实现目标检测器的实例特异性解释

《IEEE Access》：Spatial Sensitive Grad-CAM: Towards Instance-Specific Explanations for Object Detectors by Incorporating Spatial Sensitivity

本文针对目标检测器缺乏实例特异性可视化解释的问题，提出了一种名为空间敏感梯度加权类激活映射（SSGrad-CAM）的新方法。该方法通过引入空间敏感图（Space Map）来改进经典的Grad-CAM，使其能够为每个检测到的实例生成聚焦于相关区域的热力图。研究在MS-COCO和PASCAL VOC等标准数据集上对Faster R-CNN、SSD及DETR等主流检测器进行了验证，定量（如删除/插入指标）和定性结果均表明，SSGrad-CAM能更准确地识别对检测至关重要的区域，且计算效率优于D-RISE等扰动类方法，为提升目标检测模型的可信度和可解释性提供了有效工具。

　　

在人工智能蓬勃发展的今天，深度学习模型，特别是目标检测器，已经在自动驾驶、医疗影像分析等安全关键领域扮演着至关重要的角色。这些模型能够精准地定位并识别图像中的多个物体，其性能令人惊叹。然而，一个巨大的挑战也随之而来：这些通常拥有数百万甚至数十亿参数的“黑箱”模型，其内部决策过程往往难以理解。当模型做出一个检测决定时，我们不禁要问：它究竟是依据图像的哪些部分来判断那里有一个“行人”或一个“停止标志”？如果模型错误地将一只猫识别为鸟，我们能否知道它是不是被背景中的树木特征所误导？回答这些问题，对于确保模型在真实世界中的可靠、安全应用至关重要。可视化解释方法应运而生，旨在通过热力图等形式，直观展示模型决策所依赖的图像区域。

目前，尽管已有许多可视化解释方法，但其中绝大多数是为图像分类模型设计的。分类模型只需判断“整张图是什么”，而目标检测模型则需要回答“图里有哪些物体，它们分别在哪里，是什么”。这一根本区别使得直接将分类模型的可解释方法（如广为人知的Grad-CAM）用于目标检测器时，会产生严重问题。Grad-CAM生成的是“类别特异性”热力图，它会高亮所有对该类别判断重要的区域。当一张图中存在多个同类物体时（例如，餐桌上并排放置的两个葡萄酒瓶），Grad-CAM产生的热力图会同时高亮这两个瓶子所在的区域，无法区分到底是哪个图像特征导致了“当前这个”瓶子被检测出来。这种解释显然是模糊且不精确的，无法帮助我们理解模型对每个独立实例的检测逻辑，从而难以排查错误、建立信任。

为了解决这一挑战，来自日立公司研发集团的研究人员Toshinori Yamauchi在《IEEE Access》上发表了他们的研究成果，提出了名为“空间敏感梯度加权类激活映射”（Spatial Sensitive Grad-CAM, SSGrad-CAM）的新方法。这项工作的核心目标是，将经典的Grad-CAM进行改造，使其能够为目标检测器生成“实例特异性”的热力图，即每个热力图只聚焦于促成“该特定实例”被检测到的图像区域。

研究人员开展这项研究的思路非常清晰。他们首先深入分析了Grad-CAM在目标检测任务上失效的原因。Grad-CAM通过计算预测得分相对于卷积特征图的梯度，来估计每个通道（Channel）的特征重要性权重，然后对所有通道的特征图进行加权求和。问题在于，这个权重是通道级别的全局标量，它只表达了“某个通道提取的特征（如‘瓶身弧线’特征）是否重要”，但没有空间信息来指明“这个特征在图像中的哪个位置对当前这个检测实例是重要的”。因此，只要该通道的特征图在图像中多个位置都有激活（比如同时激活了两个瓶子的轮廓），那么加权后的热力图就会同时高亮所有这些区域。

SSGrad-CAM的巧妙之处在于，它在Grad-CAM的框架中引入了一个“空间敏感图”（Space Map）。这个空间图是通过对梯度幅值进行归一化计算得到的，它编码了特征图中每个空间位置（神经元）对于当前检测实例的相对重要性。简单来说，空间图回答了“在某个特征通道上，图像的哪个区域的变化最影响当前这个检测框的得分？”这个问题。然后，SSGrad-CAM不是简单地将通道权重乘以整个特征图，而是先将特征图与这个空间图进行逐元素相乘，再进行加权求和。这样操作的意义在于，它同时考虑了“特征的重要性”（来自通道权重）和“空间的重要性”（来自空间图），从而使得最终生成的热力图能够精准地聚焦于与特定检测实例相关的区域。

为了验证SSGrad-CAM的有效性，研究团队进行了广泛而深入的实验。他们主要在两种主流的目标检测器上进行了测试：两阶段检测器Faster R-CNN和单阶段检测器SSD，使用的数据集是权威的MS-COCO和PASCAL VOC。评估从定量和定性两个维度展开。

在定量评估方面，研究者采用了删除（Deletion）和插入（Insertion）指标。删除指标的含义是，按照热力图指示的重要性顺序，从最重要的像素开始逐步移除图像像素，观察模型预测得分下降的速度。得分下降得越快，说明热力图越准确地定位了关键区域。插入指标则相反，从一个空图像开始，按照重要性顺序逐步添加像素，观察模型预测得分恢复的速度。得分恢复得越快，同样说明热力图质量越高。实验结果表明，无论是在MS-COCO还是PASCAL VOC数据集上，无论是使用Faster R-CNN还是SSD，SSGrad-CAM在绝大多数情况下都取得了最优的删除和插入曲线下面积（AUC）值，显著优于原始的Grad-CAM、扰动基方法D-RISE以及另一梯度基方法ODAM。这有力地证明了SSGrad-CAM生成的热力图在忠实反映模型决策过程方面更具优势。

在定性比较中，论文提供了丰富的热力图可视化示例。可以清晰地看到，Grad-CAM的热力图确实存在“注意力分散”的问题，高亮了不相关的实例区域；D-RISE生成的热力图则带有较多噪声；而SSGrad-CAM和ODAM都能产生实例特异性的热力图，但SSGrad-CAM的热力图视觉上更加清晰、集中。此外，论文还特别展示了一个揭示模型偏见的案例：当一个检测器（SSD结合了特征金字塔网络FPN）错误地将一只猫检测为鸟时，SSGrad-CAM生成的热力图清晰地显示，模型实际上高度关注了猫周围的树木背景区域。这表明检测器可能因为在训练数据中“鸟”和“树”经常同时出现而产生了偏见。而简单地裁剪Grad-CAM热力图到检测框内的方法则无法揭示这种依赖背景的决策逻辑，凸显了SSGrad-CAM空间敏感性的价值。

除了核心贡献，论文还对SSGrad-CAM的两个关键设计选择进行了细致的分析。一是权重计算中融合全局平均池化（GAP）和全局最大池化（GMP）的作用。实验发现，单纯使用GAP（λ=0）时，如果梯度图中存在较大的负值（噪声），可能导致通道权重为负，最终被ReLU激活函数过滤掉，影响热力图质量。引入少量GMP（如λ=0.01）可以缓解这一问题，提升热力图质量，但完全使用GMP（λ=1）可能引入噪声，因此选择了一个平衡值。二是对Faster R-CNN使用的平滑函数（高斯滤波）的作用。由于Faster R-CNN中的感兴趣区域池化（RoI Pooling）会产生稀疏的梯度图，导致空间图也稀疏，进而使最终热力图呈现不连续的块状。施加平滑函数后，热力图变得连续平滑，更易于人类观察理解，并在插入指标上表现出显著提升。

本研究还探讨了SSGrad-CAM的通用性。论文成功将其应用于基于Transformer的检测器DETR，因为DETR同样使用CNN backbone提取特征。结果显示，SSGrad-CAM同样能为DETR的检测结果生成高质量的实例特异性热力图，而Grad-CAM则再次失败。在计算效率方面，SSGrad-CAM与Grad-CAM、ODAM等基于梯度的方法一样，仅需一次前向传播和一次反向传播即可生成热力图，单实例耗时约0.065秒。而D-RISE这类扰动方法需要成千上万次前向传播，耗时长达百余秒，使得SSGrad-CAM在实际应用中更具优势。

本研究主要采用了基于梯度计算和特征图加权的核心技术路径。具体而言，SSGrad-CAM通过计算目标检测器对于特定检测实例的预测得分相对于卷积神经网络（CNN） backbone 最终层特征图的梯度。利用这些梯度信息，一方面通过结合全局平均池化（GAP）和全局最大池化（GMP）的方式计算每个特征通道的权重（w_k^{c, det}），另一方面通过归一化梯度幅值生成空间敏感图（S_k^{c, det}）。最终的热力图通过将加权后的特征图与空间图逐元素相乘并求和，再经过ReLU激活函数得到。实验在公开基准数据集MS-COCO和PASCAL VOC上进行，评估了包括Faster R-CNN、SSD和DETR在内的多种检测器架构。

IV. EXPERIMENTS AND RESULTS

A. QUANTITATIVE RESULT

定量评估结果明确显示，SSGrad-CAM在衡量热力图忠实度的删除和插入指标上，其曲线下面积（AUC）值在大多数实验设置下均优于对比方法（Grad-CAM, D-RISE, ODAM）。这表明SSGrad-CAM生成的热力图能更准确地识别出对检测决策至关重要的图像区域。

B. HEAT MAP COMPARISONS

热力图的定性对比直观地展示了SSGrad-CAM的优越性。其生成的热力图是实例特异性的，能清晰聚焦于被检测物体本身，避免了Grad-CAM的注意力分散问题和D-RISE的噪声问题，视觉质量更高。

C. COMPARATIVE COMPUTATIONAL ANALYSIS

计算效率分析表明，SSGrad-CAM与Grad-CAM、ODAM等基于梯度的方法计算开销相近，生成单张热力图仅需约0.065秒，远低于需要大量前向传播的D-RISE方法（约175秒），具有很高的实用价值。

D. EFFECT OF GLOBAL MAX POOLING

对全局最大池化（GMP）作用的分析表明，在通道权重计算中引入少量GMP（λ=0.01）可以改善热力图质量，避免因梯度负值导致的激活不足问题，而完全使用GMP可能引入噪声。

E. EFFECT OF SMOOTHING FUNCTION

对于Faster R-CNN，使用高斯滤波作为平滑函数能有效解决因RoI池化导致的梯度稀疏性问题，使生成的空间图和最终热力图更加连续平滑，提升了插入指标和人类视觉可解释性。

F. SENSITIVITY TO PERIPHERY REGIONS

SSGrad-CAM对检测框外围区域具有敏感性。案例分析显示，当检测器（如带FPN的SSD）依据背景信息做出错误检测时，SSGrad-CAM能如实反映这一决策依据，有助于揭示模型潜在的数据偏见。

G. APPLICATION OF THE PROPOSED METHOD TO DETR

成功将SSGrad-CAM应用于Transformer架构的检测器DETR，并生成实例特异性热力图，证明了该方法对CNN backbone类检测器的广泛适用性。

H. QUANTITATIVE COMPARISON WITH VPS

与近期提出的扰动基方法VPS相比，SSGrad-CAM在定量指标上表现相当甚至更优，同时在计算效率上具有巨大优势（快两个数量级）。

I. SANITY CHECKS

通过模型参数随机化测试验证了SSGrad-CAM的有效性。随机化模型参数后生成的热力图与原始模型的热力图存在显著差异，表明SSGrad-CAM的解释确实依赖于训练得到的模型参数，而非产生无意义的输出。

综上所述，这项研究成功地解决了为目标检测器生成实例特异性可视化解释的挑战。SSGrad-CAM通过引入空间敏感图这一核心创新，有效克服了Grad-CAM在目标检测任务上的局限性。大量实验证明，该方法生成的热力图不仅更忠实于模型的决策过程，而且具有实例特异性、计算高效和架构通用性强等优点。它不仅有助于用户理解模型为何做出某个特定的检测决定，还能揭示模型可能存在的偏见（如对背景环境的依赖），从而为调试模型、增强透明度和建立信任提供了强有力的工具。特别是在自动驾驶、医疗诊断等高风险应用场景中，这种精细化的解释能力对于确保人工智能系统安全、可靠地部署具有重要意义。未来的工作可以探索如何利用SSGrad-CAM揭示的洞察来系统性改进检测器性能，以及研究更先进的权重计算策略以进一步提升解释质量。