基于双域引导的稳定扩散技术实现真实世界立体图像的超分辨率

《Expert Systems with Applications》：Inter-view Dual-domain Guided Stable Diffusion for Real-World Stereo Image Super-Resolution

低分辨率立体图像超分辨率中的一致性优化，双域引导控制网络与语义特征融合，扩散模型改进，跨视图特征交互，低分辨率修复。

　　近年来，随着深度学习技术的不断进步，预训练的文本到图像扩散模型在图像超分辨率领域展现出了巨大的潜力。这些模型因其强大的生成能力，能够有效恢复低分辨率图像中丢失的纹理细节。然而，当直接将这些模型应用于现实世界中的立体图像超分辨率（Real-SSR）任务时，往往会忽略左右视图之间固有的一致性，导致生成的立体图像在纹理、结构和语义层面出现不一致，进而产生更加明显的视觉伪影。

为了克服这一问题，我们提出了一种新的方法——互补语义感知的跨视图双域引导稳定扩散网络（Complementary Semantic-aware Inter-view Dual-domain Guided Stable Diffusion, CSID-Diff）。该方法旨在通过利用低分辨率立体图像中的互补纹理、结构和语义信息，引导扩散模型生成高质量且具有跨视图一致性的结果。我们的方法特别关注立体图像中左右视图之间的协同关系，从而确保生成的高分辨率图像在视觉上更加自然和真实。

在现实世界中，立体图像被广泛应用于多个领域，如机器人导航、虚拟现实和自动驾驶等。然而，这些图像通常会受到各种复杂降质因素的影响，如低分辨率、模糊、噪声等，从而影响其视觉质量。立体图像超分辨率（Stereo Image Super-Resolution, SSR）的任务是通过低分辨率的立体图像，重建出高分辨率且具有自然纹理的立体图像。在这一过程中，保持左右视图之间的一致性至关重要，因为任何不一致都会导致立体图像的视觉失真，甚至影响实际应用中的感知效果。

现有的立体图像超分辨率方法多采用卷积神经网络（CNN）来提取单视图特征，并利用交叉注意力机制在视图之间进行互补特征的交互。然而，随着视觉Transformer（Vision Transformer, ViT）在全局建模方面的卓越表现，越来越多的SSR方法开始引入Transformer架构，以捕捉更复杂的跨视图依赖关系。这些方法在提升立体图像超分辨率性能方面取得了显著进展。然而，当前主流的SSR方法大多假设图像降质过程为理想降质（如双三次下采样），这与实际场景中的复杂降质情况存在偏差，从而导致在真实场景中的应用效果不佳。

与此同时，单图像超分辨率（Single Image Super-Resolution, SISR）领域已经取得了较大的进展，尤其是在处理复杂降质问题方面。例如，基于预训练文本到图像模型（如Stable Diffusion）的SISR方法，如StableSR和DiffBIR，能够有效生成具有自然纹理的高分辨率图像。此外，PromptSR、PASD、SeeSR和Coser等方法通过引入高阶文本语义信息，进一步提升了图像重建的准确性和一致性。然而，这些方法主要针对单图像进行优化，忽略了立体图像中左右视图之间固有的互补性和一致性约束。因此，当直接将这些SISR方法应用于立体图像时，会因为忽略跨视图信息而产生不一致的纹理和语义细节。

针对上述问题，我们提出了CSID-Diff方法，该方法在构建高分辨率立体图像的同时，特别强调左右视图之间的一致性。具体而言，我们设计了一种双域引导的ControlNet模块，该模块能够同时在图像特征域和视差域中建立互补的交互关系，并通过融合双域特征来确保左右视图在纹理和结构上的一致性。为了进一步解决左右视图之间语义信息不一致的问题，我们引入了互补语义特征提取模块（Complementary Semantic Feature Extraction Module, CSFEM），该模块能够合并左右视图中的互补语义信息，并将其集成到扩散过程中，以实现准确且一致的语义重建。在扩散过程中，我们采用了一个共享权重的双UNet结构，以同时重建左右视图的高分辨率图像。

我们的方法在多个方面进行了创新。首先，通过引入双域引导机制，我们能够在图像特征域和视差域中同时利用互补信息，从而在生成过程中确保左右视图的结构和纹理一致性。其次，我们设计了CSFEM模块，以更精确地提取和融合左右视图的语义信息，确保在重建过程中语义层面的一致性。此外，我们还提出了一种像素感知的交叉注意力机制（Pixel-Aware Cross Attention, PACA），该机制能够在像素级别上感知低分辨率立体图像的局部结构特征，从而进一步提升重建的细节和真实感。

在实验部分，我们对CSID-Diff方法进行了广泛的定性和定量评估。通过在合成数据集和真实数据集上进行测试，我们的方法在多个指标上均优于现有的SSR方法。特别是在保持左右视图之间一致性方面，CSID-Diff展现出了显著的优势。此外，我们还进行了消融实验，以验证各个模块对整体性能的贡献。实验结果表明，双域引导的ControlNet和CSFEM模块在提升跨视图一致性方面起到了关键作用。

尽管我们的方法在立体图像超分辨率任务中取得了良好的效果，但仍存在一些局限性。首先，由于模型结构较为复杂，CSID-Diff在参数数量和推理速度方面相对较高，这在实际部署中可能会带来一定的挑战。其次，当处理更高分辨率的图像时，模型的计算资源消耗较大，这在计算能力和内存有限的设备上可能会受到限制。此外，由于图像特征域和视差域之间的语义差异较大，如何更有效地融合这两种信息仍然是一个值得进一步研究的问题。

总体而言，我们的工作为现实世界中的立体图像超分辨率提供了一种新的解决方案，能够有效处理复杂降质问题，同时确保左右视图之间的一致性。未来，我们计划进一步优化模型结构，以降低计算成本并提高推理速度，使其更适用于实际应用场景。此外，我们还希望探索更高效的语义信息融合方法，以进一步提升立体图像重建的质量和一致性。

在本文的结构安排上，我们首先回顾了现有的单图像和立体图像超分辨率方法，分析了它们在处理立体图像时所面临的挑战。接着，我们详细介绍了所提出的CSID-Diff方法，包括其整体架构、双域引导的ControlNet模块、互补语义特征提取模块以及损失函数的设计。随后，我们进行了广泛的实验评估，包括定量分析和定性比较，以验证所提出方法的有效性。我们还进行了详细的消融实验，以分析各个模块对最终结果的影响。最后，我们讨论了本工作的局限性，并提出了未来的研究方向。