基于深度学习的单次拍摄彩色FPP方法中的颜色串扰去除

《Optics and Lasers in Engineering》：Color crosstalk removal based on deep learning for single-shot color FPP method

单次曝光彩色FPP通过三通道相机同步拍摄不同频率的色 fringe 图像，结合深度可分离卷积和三种注意力机制（多轴外部权重、交叉注意力、门控注意力），有效抑制颜色交叠和光电交叠，实现高精度动态场景三维重建。仿真与实拍实验表明，该方法较传统方法和现有深度学习模型在深度图精度上分别提升约一个数量级和25%。

　　单帧投影 profilometry（FPP）技术因其高精度、高空间分辨率和非接触测量特性，在三维表面形貌测量中占据重要地位。尤其在动态场景中，单帧FPP只需一次曝光即可完成三维重建，相较于多帧方法在效率上具有明显优势。然而，该方法在处理不连续区域时，其相位解调过程中容易出现频谱泄漏等伪影，并且相位展开过程本身具有病态性，这在一定程度上限制了其测量精度。为了克服这些缺陷，单帧彩色FPP（SCFPP）技术被提出，利用彩色相机的三通道特性，一次曝光获取三帧不同频率的条纹图像，从而解决单帧FPP的病态问题，并实现高精度的三维重建。

随着深度学习技术的快速发展，SCFPP在三维重建领域取得了显著进展。早期研究者通过卷积神经网络（CNN）处理彩色条纹图像，实现了对相位信息的直接回归。随后，研究者们进一步优化网络结构，引入残差连接和自注意力机制，以提升网络对复杂纹理和几何特征的提取能力。此外，一些研究采用密集U-Net架构，结合多频率异频策略，实现对三帧彩色条纹图像的相位展开。也有研究者通过U-Net框架生成多步相位移条纹图像，再利用传统相位移算法进行深度计算。为了实现端到端的深度估计，一些研究者提出了基于小波变换域的网络架构，结合隐式频率通道注意力模块，有效提升了对不连续场景的重建精度。

尽管上述方法在SCFPP领域取得了良好效果，但它们普遍忽略了颜色串扰（color crosstalk）这一关键因素。颜色串扰是由于彩色相机在拍摄过程中，不同颜色通道之间的光信号相互干扰，导致条纹图像的失真。这种失真会直接影响相位解调的准确性，进而影响最终的深度估计结果。因此，研究者们开始尝试设计专门的网络架构，以显式处理颜色串扰问题。例如，有研究者采用前馈反向传播神经网络对彩色条纹图像进行解耦，避免不同通道之间的相互影响。也有研究者引入编码器-解码器结构，对条纹图像进行校正，以消除颜色串扰带来的误差。此外，一些研究通过深度学习直接输出相位信息，利用多步相位移方法获取无颜色串扰的真值，从而在训练过程中隐式消除颜色串扰的影响。

尽管这些方法在一定程度上缓解了颜色串扰问题，但它们仍然存在一定的局限性。例如，某些网络仅采用注意力门（Attention Gate, AG）机制，难以充分挖掘不同通道和像素之间的交互信息。此外，现有的合成数据集往往采用理想化的颜色条纹模型，忽略了实际拍摄中可能出现的颜色串扰现象，而真实数据集又因采集条件的限制，存在样本数量不足和多样性不够的问题。因此，这些网络模型在处理实际颜色串扰时表现出一定的不足。

为了解决上述问题，本文提出了一种新的SCFPP网络模型，并构建了一个包含颜色串扰、光电串扰和伽马畸变的合成数据集。该网络基于U-Net架构，引入了三种不同的注意力机制：多轴外部权重（Multi-axis External Weight, MEW）、交叉注意力（Criss-Cross Attention, CCA）和注意力门（AG）。MEW机制用于过滤通道间无关的颜色串扰信息，CCA机制则用于处理空间维度上的干扰，而AG机制则在上下文信息传递中起到关键作用。通过这三种注意力机制的协同作用，网络能够更有效地识别和消除不同通道和像素之间的相互干扰，从而提升深度估计的准确性。

在数据集构建方面，本文借鉴了Liu等人提出的方法，采用3D渲染软件构建虚拟SCFPP系统，以模拟实际测量过程。然而，与以往方法不同的是，本文在颜色串扰建模中不仅考虑了颜色通道之间的相互干扰，还引入了光电串扰和伽马畸变等实际拍摄中可能存在的因素。这种更全面的建模方式使得合成数据集更贴近真实场景，为深度学习模型的训练提供了更高质量的样本。通过这种方式，网络能够在训练过程中学习到更丰富的干扰模式，从而在实际应用中表现出更强的鲁棒性和准确性。

实验结果表明，本文提出的网络模型在合成数据和真实数据上的表现均优于传统方法和其他现有的深度学习模型。具体而言，网络在合成数据集上的深度估计误差比传统方法降低了约一个数量级，而在真实数据集上的误差也比现有最优模型降低了约25%。这些结果验证了本文方法在处理颜色串扰、光电串扰和伽马畸变方面的有效性。此外，网络的端到端设计使其能够直接输出深度图，无需额外的相位展开或校正步骤，大大简化了整个测量流程，提高了实际应用的可行性。

本文的研究成果对于动态场景的三维测量具有重要意义。在工业检测、生物医学成像和机器人视觉等领域，动态对象的测量需求日益增加。传统的多帧FPP方法虽然在精度上具有优势，但其对快动态物体的测量效率较低，难以满足实际应用中的实时性要求。而本文提出的SCFPP网络模型不仅能够实现单帧测量，还能有效处理颜色串扰等实际干扰因素，为高精度、高效率的动态三维测量提供了新的解决方案。此外，本文构建的合成数据集也为后续研究提供了宝贵的资源，有助于推动SCFPP技术在更多复杂场景中的应用。

综上所述，本文通过引入三种不同的注意力机制，改进了U-Net架构，使其能够更有效地处理颜色串扰问题。同时，通过构建包含多种干扰因素的合成数据集，提升了网络对实际测量条件的适应能力。实验结果表明，该方法在深度估计精度和鲁棒性方面均优于现有技术，具有较高的应用价值。未来的研究方向可以包括进一步优化注意力机制的设计，以提升网络对不同类型的干扰的处理能力。此外，还可以探索如何将该方法应用于更复杂的动态场景，如多目标测量和高动态范围场景。通过不断优化和扩展，SCFPP技术有望在更多领域实现突破，为三维测量技术的发展提供新的思路和方法。