高斯分割攻击：基于高斯散布的多视图3D对抗性攻击

《Pattern Recognition》：Gaussian Splitting Attack: Gaussian Splatting-based Multi-View 3D Adversarial Attack

3D对抗攻击方法利用高斯分割生成显式三维对抗样本，通过梯度贡献图优化高斯分裂策略，结合位置和颜色损失约束实现多视角欺骗，实验表明其攻击成功率与视觉隐蔽性优于现有方法。

　　近年来，深度神经网络（DNNs）在图像识别、物体分类和场景理解等领域取得了显著进展，但同时也暴露出对精心设计的对抗样本高度敏感的问题。这种敏感性不仅在2D图像领域被广泛研究，也在3D数据和渲染技术的推动下，逐渐延伸至三维空间。现有的对抗攻击方法主要集中在图像层面，通过在图像中添加微小扰动来误导模型。然而，现实世界中的大多数物体以三维形式存在，这种特性使得传统的2D对抗样本在三维场景中可能无法充分发挥作用。因此，研究三维对抗攻击具有重要的现实意义，尤其是在自动驾驶、机器人视觉、增强现实等依赖于三维感知的应用中。

三维对抗攻击的核心挑战在于如何在不显著改变原始场景的前提下，生成能够误导DNNs的三维扰动。现有的方法中，NeRF（Neural Radiance Fields）被广泛用于生成不同视角下的对抗样本。NeRF能够从少量视角中重建3D场景，并生成新视角下的图像，这种能力使其成为三维对抗攻击的重要工具。然而，这些方法通常只是在渲染图像上添加噪声，未能构建出真正的三维对抗样本，因此其攻击效果在多视角下可能受到限制。此外，由于NeRF的隐式表示特性，生成的对抗样本在三维空间中缺乏直观的结构，导致攻击的泛化能力不足。

为了解决上述问题，本文提出了一种基于三维高斯点云（3D Gaussian Splatting）的新型对抗攻击方法——Gaussian Splitting Attack（GSAttack）。与传统方法不同，GSAttack不是直接在图像上进行扰动，而是通过优化三维高斯点云中的扰动来生成对抗样本。这种方法能够更有效地欺骗DNNs，同时保持对抗样本在视觉上的自然性，使其在不同视角下都难以被察觉。具体来说，GSAttack首先通过计算每个高斯点的梯度，量化其对模型决策的影响，然后从高贡献的高斯点中分割出微小的高斯点作为初始的三维扰动。这些扰动在参数上与原始高斯点保持一致，仅在尺度上进行调整，以确保其在视觉上与原始场景相似。接下来，通过对抗损失函数对这些扰动进行优化，使其在不同视角下都能有效误导目标模型。为了进一步提升对抗样本的隐蔽性，本文还设计了位置损失和颜色损失，以约束扰动与物体表面的紧密关联，并确保其渲染后的颜色与原始颜色一致，从而降低被人类感知的可能性。

在实验部分，本文使用了NeRF的合成数据集以及真实世界的LLFF和Mip-NeRF 360数据集，验证了GSAttack在不同场景下的有效性。实验结果表明，GSAttack生成的三维对抗样本在多个视角下都能有效欺骗目标模型，且在视觉上几乎与原始三维物体无异。这表明，GSAttack不仅在攻击成功率上优于现有方法，还在保持对抗样本自然性方面具有显著优势。此外，本文还对不同目标模型（如ResNet50、Inception v3和VGG16）进行了测试，结果显示该方法在多种模型上均表现出良好的攻击效果。

从技术角度来看，GSAttack的创新点在于其利用了3DGS的显式表示能力。3DGS是一种能够高效渲染三维场景的算法，它通过将场景表示为一组高斯点来实现对物体形状和颜色的精确建模。与NeRF的隐式表示不同，3DGS能够更直观地控制三维空间中的物体形态，从而使得对抗扰动的生成和优化更加直接和高效。在生成对抗样本的过程中，GSAttack首先通过计算梯度信息，确定哪些高斯点对模型的决策具有更大的影响，然后从中分割出微小的高斯点作为扰动。这种方法不仅能够确保扰动的有效性，还能够在不影响原始场景的前提下，实现对模型的误导。

为了进一步增强对抗样本的隐蔽性，本文引入了位置损失和颜色损失。位置损失的作用是确保扰动在空间上与原始物体表面保持一致，避免出现明显的异常点或突变区域。颜色损失则用于约束扰动在渲染后的颜色与原始颜色保持一致，从而减少视觉上的差异。这些损失函数的引入，使得对抗样本在视觉上更加自然，同时也提高了其在不同视角下的欺骗能力。

在优化过程中，GSAttack采用了一种迭代优化策略，通过对抗损失函数不断调整扰动的参数，使其在不同视角下都能误导目标模型。这一过程需要在保证扰动不可察觉的前提下，最大化其对模型决策的影响。因此，优化算法的选择至关重要。本文采用了基于梯度下降的优化方法，通过调整扰动的位置和颜色参数，逐步逼近最优的攻击效果。同时，为了提高计算效率，本文还对优化过程进行了加速处理，确保在合理的时间内完成对三维场景的攻击。

除了技术上的创新，GSAttack还具有重要的应用价值。在自动驾驶领域，车辆的感知系统通常依赖于LiDAR和摄像头等传感器获取三维点云数据。如果这些数据被精心设计的对抗样本所干扰，可能导致车辆做出错误的决策，从而引发安全隐患。因此，研究如何在不显著改变原始数据的前提下，生成能够误导自动驾驶系统的对抗样本，具有重要的现实意义。GSAttack方法通过生成自然且难以察觉的三维扰动，为这一问题提供了一种新的解决方案。

在机器人视觉领域，多视角识别能力是许多机器人系统的重要组成部分。如果这些系统能够被三维对抗样本所欺骗，可能导致机器人在执行任务时出现错误判断，甚至对人类造成威胁。因此，研究三维对抗攻击不仅有助于提升模型的安全性，还能为实际系统提供更可靠的防御机制。GSAttack方法能够在多种视角下欺骗DNNs，使得攻击更加隐蔽和有效，从而为相关领域的安全研究提供了新的思路。

此外，GSAttack方法在增强现实和虚拟现实等应用中也具有潜在价值。在这些应用中，用户通常需要与虚拟环境中的物体进行交互，而如果这些物体被攻击者所操控，可能会导致用户体验的破坏或安全隐患。通过生成自然且难以察觉的三维对抗样本，GSAttack能够模拟这种潜在威胁，为相关系统提供更全面的安全评估。

综上所述，本文提出的GSAttack方法在三维对抗攻击领域具有重要的创新意义和应用价值。通过利用3DGS的显式表示能力，结合梯度贡献图和扰动分割策略，GSAttack能够在不显著改变原始场景的前提下，生成能够有效误导DNNs的三维对抗样本。同时，通过设计位置损失和颜色损失，进一步提升了对抗样本的隐蔽性，使其在不同视角下都难以被察觉。实验结果表明，GSAttack在攻击成功率和可视化效果上均优于现有方法，为三维对抗攻击的研究提供了新的方向。未来的研究可以进一步探索如何在不同的应用场景中优化GSAttack方法，以提高其攻击效果和隐蔽性，同时开发更有效的防御机制，以应对潜在的安全威胁。