基于门控Swin Transformer的运动鲁棒多曝光HDR计算成像技术

《Graphical Models》：Motion-robust multi-exposure HDR computational imaging based on gated Swin Transformer

融合多曝光图像序列的Swin Transformer模型通过引入门控机制抑制错位特征，利用自注意力机制增强长距离上下文依赖，有效解决大运动场景下的HDR重建问题。实验表明该方法在PSNR、SSIM和HDR-VDP-2指标上均优于现有方法。

　　在当今的数字摄影技术中，高动态范围（HDR）成像已经成为一种非常重要的图像处理方法。HDR成像能够有效提升图像的动态范围，使得从暗部到亮部的细节都能被清晰捕捉。然而，传统方法在处理多曝光图像融合时，常常面临诸如大范围运动导致的图像对齐问题，以及暗部噪声或过曝区域色彩饱和度限制等挑战。这些问题会显著影响最终HDR图像的质量，特别是在运动场景中，图像对齐错误可能导致“鬼影”或“运动模糊”等伪影。为了克服这些局限性，研究人员开始探索更先进的深度学习方法，尤其是基于Transformer架构的模型，以实现更鲁棒的多曝光图像融合。

本文提出了一种基于Swin Transformer的运动鲁棒多曝光图像融合模型。Swin Transformer作为一种改进的Transformer结构，通过引入移位窗口的自注意力机制，能够在保持计算效率的同时，实现对长距离上下文依赖的建模。这使得Swin Transformer在处理具有复杂运动模式的多曝光图像时，能够更有效地对齐不同曝光的图像内容，同时避免因运动不一致导致的伪影问题。此外，我们设计了一种特征选择门控机制，将该机制与Swin Transformer的特征变形层相结合，用于检测并抑制因运动引起的不一致特征。通过这种方式，我们的模型能够在融合过程中，更准确地重建缺失的局部细节，从而生成更高质量的HDR图像。

与传统的卷积神经网络（CNN）相比，Transformer架构在建模全局特征匹配方面展现出更强的能力。然而，原始Transformer在计算过程中需要对所有特征对进行相关性计算，这会导致计算复杂度呈二次增长，从而限制了其在高分辨率图像处理中的应用。为了解决这一问题，Swin Transformer引入了移位窗口的自注意力机制，通过限制自注意力计算在局部窗口内进行，从而在保持长距离上下文依赖的同时，显著降低了计算复杂度。这一特性使得Swin Transformer在处理多曝光图像融合任务时，既能够捕捉全局特征，又具备较高的计算效率。

在本文中，我们构建了一个基于Swin Transformer的U型编码器-解码器结构，该结构能够在多尺度下逐步扩展局部特征相关性，最终实现全局范围的特征融合。同时，我们在编码器-解码器的每个构建块中引入了门控机制，以更有效地筛选出有效特征并抑制不一致的特征。这种设计不仅提升了模型的鲁棒性，还确保了融合过程的稳定性。通过这种方式，我们的模型能够在不同运动模式下，生成更加自然和真实的HDR图像。

为了评估模型的性能，我们在多个基准数据集上进行了广泛的数值和视觉实验。实验结果表明，我们的模型在PSNR-L、SSIM-L和HDR-VDP-2等指标上均优于现有的方法，特别是在处理复杂运动场景时，能够显著减少“鬼影”伪影的出现。此外，模型在保持较高计算效率的同时，依然能够实现高质量的HDR图像生成，这为实际应用提供了重要的支持。

在实际应用中，HDR成像不仅能够提升图像的动态范围，还能增强图像的细节表现和视觉质量。尤其是在运动场景中，多曝光图像融合技术能够有效解决因运动导致的对齐问题，从而生成更加逼真的HDR图像。本文提出的模型通过结合门控机制和Swin Transformer的移位窗口自注意力机制，成功克服了传统方法在处理大范围运动时的局限性，为HDR成像技术的发展提供了新的思路。

未来的研究方向可以包括进一步优化模型的计算效率，使其能够在更低性能的硬件设备上运行。此外，可以探索更高级的特征选择机制，以更精确地识别和抑制不一致的特征。同时，结合感知质量度量，使模型在训练过程中更好地对齐人类视觉感知，从而生成更加自然和高质量的HDR图像。这些改进将有助于推动HDR成像技术在更多实际场景中的应用，例如实时摄影、虚拟现实和增强现实等领域。