基于语义引导的扩散算法在水相关图像增强中的应用

《Pattern Recognition》：Semantic-Guided Diffusion for Water-Related Image Enhancement

水下图像增强方法提出基于语义伪标签的扩散框架，通过LLaVA生成语义提示并与Zip-CLIP匹配，结合轻量级CNN融合语义相似性热图生成伪标签，指导扩散模型分阶段优化全局结构（线性时间步调度）与局部纹理，在UIEB、U45、UCCS数据集上显著提升清晰度、颜色保真度及语义一致性。

　　在海洋探索、水下机器人导航以及生态监测等应用中，水相关图像扮演着至关重要的角色。然而，由于水下环境中光的波长依赖性吸收和散射现象，这些图像常常受到颜色失真、对比度降低和结构模糊等严重退化问题的影响。这些问题不仅降低了图像的视觉感知质量，还影响了后续视觉任务的执行效果，例如目标检测、三维重建和语义分割等。因此，开发一种具有高鲁棒性和感知一致性的图像增强方法，对于在复杂水下环境中恢复结构信息和自然颜色具有重要意义。

现有的水下图像增强方法可以大致分为三类：非物理模型方法、物理模型方法以及基于深度学习的方法。非物理模型方法不考虑光在水中的传播特性，而是直接在像素域或频率域进行增强操作。这类方法通常包括基于Retinex理论的模型和白平衡校正技术等。物理模型方法则依赖于对水下光学传播过程的建模，例如Jaffe-McGlamery模型或大气散射模型，以补偿光衰减并校正颜色偏移。这些方法虽然在某些场景中表现良好，但它们通常需要成对的干净图像作为监督信号，这在实际水下环境中并不常见。此外，这些方法在处理复杂的退化问题时，往往难以准确建模语义结构，导致增强后的图像看起来不自然，或者边缘模糊。

基于深度学习的方法近年来得到了广泛研究和应用。这些方法通常采用卷积神经网络（CNN）或生成对抗网络（GAN）进行端到端的增强。尽管这些模型在某些任务中取得了不错的效果，但它们在处理多样化的退化情况时仍存在局限性。传统的生成模型在面对复杂水下图像时，往往缺乏足够的鲁棒性和灵活性，难以在全局一致性与局部细节恢复之间取得平衡。此外，许多深度学习模型仍然依赖于成对的清晰图像作为训练数据，这在实际应用中是一个重大障碍。

近年来，噪声在模式识别和生成任务中的作用发生了显著变化。噪声不再仅仅是干扰因素，而是成为一种有效的学习信号。这一转变在扩散模型中尤为明显，其中噪声是训练过程中的核心组成部分。扩散模型通过在前向过程中逐步添加噪声，并在反向过程中逐步去除噪声，实现了细粒度的建模和稳定的优化。这种方法在自然图像合成和医学图像重建等领域取得了显著成果。尽管如此，许多扩散模型仍然依赖于成对的清晰图像作为监督信号，这在水下增强任务中是一个主要限制。

为了克服这一限制，我们提出了一种基于语义伪标签的扩散框架，用于水下图像增强。该框架能够在没有真实标签的情况下，实现高质量的图像恢复。具体而言，我们设计了一种基于U-Net的扩散网络，并采用线性时间步调度策略，以逐步恢复图像的全局结构和局部纹理。为了弥补监督信号的不足，我们引入了一种语义-视觉伪标签机制：通过大型多模态模型LLaVA生成的语义提示与多个增强后的图像进行匹配，利用Zip-CLIP模块生成语义相似性热图。随后，我们采用一种轻量级的G-CNN网络，将这些热图融合为伪标签，从而指导扩散过程。这些伪标签在扩散模型的训练中起到了类似真实标签的作用，使模型能够在缺乏真实标签的情况下进行有效的学习。

我们的方法在多个水下图像增强数据集上进行了广泛的实验验证，包括UIEB、U45和UCCS。实验结果表明，我们的方法在清晰度、颜色保真度和语义结构保持方面均优于现有的方法。这表明，将多模态伪监督与扩散建模相结合，能够有效提升水下图像增强的鲁棒性和感知一致性。此外，我们的方法还为跨模态检索、图感知先验和隐私保护的数据整理提供了潜在的应用扩展。

在设计这一框架时，我们主要考虑了以下几个方面。首先，我们提出了一种跨模态引导的扩散框架，该框架通过整合语义一致的伪标签和有益的噪声建模，实现了在没有真实标签情况下的稳健增强。这种设计在复杂退化条件下能够提高结构保真度和模型的泛化能力。其次，我们开发了一种基于多模态大型模型LLaVA和Zip-CLIP视觉-语言对齐模块的语义引导伪标签生成机制。该机制能够构建语义一致的监督信号，指导扩散模型准确学习退化水下场景的结构表示。第三，我们设计了一种轻量级的卷积融合网络，用于将多源语义相似性热图融合为高质量的伪标签。这种伪监督机制能够在低监督条件下有效指导扩散模型的训练，并增强语义一致性。最后，我们引入了一种线性时间步调度策略和分阶段训练方案，使模型在早期训练阶段首先关注全局结构建模，随后逐步增强局部纹理和细粒度细节。这种双阶段优化策略能够提高生成的稳定性，并在不同退化尺度下提升重建的保真度。

在水下图像增强领域，当前的研究主要集中在如何在缺乏真实标签的情况下，利用伪监督信号进行有效的图像恢复。我们提出的方法通过引入语义伪标签，为这一问题提供了一种新的解决方案。语义伪标签不仅能够提供关于图像结构和语义的监督信号，还能在一定程度上弥补真实标签的不足。通过将这些伪标签与扩散模型相结合，我们的方法能够在不依赖真实标签的情况下，实现高质量的图像增强。

此外，我们还考虑了噪声建模在水下图像增强中的作用。在传统的扩散模型中，噪声通常是随机生成的，而我们提出的方法则引入了任务对齐的噪声先验。这种噪声先验能够引导扩散模型在反向过程中逐步去除噪声，从而实现更准确的图像恢复。通过这种方式，我们的方法能够在没有真实标签的情况下，实现对水下图像的增强。

在实验部分，我们使用了三个广泛采用的水下图像增强基准数据集：UIEB、U45和UCCS。这些数据集涵盖了不同水下环境下的图像，包括真实的水下图像和未配对的水下图像。通过在这些数据集上进行实验，我们能够全面评估所提出方法的有效性和泛化能力。实验结果表明，我们的方法在清晰度、颜色保真度和语义一致性方面均优于现有的方法，这表明我们的方法在水下图像增强任务中具有显著的优势。

尽管我们的方法在多个水下增强基准测试中表现优异，但仍存在一些局限性。例如，在严重蓝偏的图像处理中，我们的方法面临一定的挑战。如图7所示，四个这样的案例平均PSNR仅为16.64。红色通道往往被过度补偿，导致图像中出现不自然的红色或紫色色调，这会破坏颜色平衡，从而影响感知质量和客观评价指标。此外，我们的方法在处理复杂退化情况时，仍然需要进一步优化，以提高模型的鲁棒性和泛化能力。

总的来说，我们提出的方法通过引入语义伪标签和任务对齐的噪声先验，为水下图像增强提供了一种新的解决方案。这种方法不仅能够克服监督信号不足的问题，还能在一定程度上提升图像的语义一致性。通过将多模态伪监督与扩散建模相结合，我们的方法在多个水下图像增强任务中表现出色，为未来的研究提供了新的思路和方向。同时，我们也在不断探索如何进一步优化模型，以应对更复杂的水下图像退化问题。