通过多变量高斯-泊松噪声实现真实图像去噪的自监督多盲网络

《Neurocomputing》：Self-supervised multi-blind network for real image denoising via multivariate Gaussian-poisson noise

针对真实图像噪声分布复杂且“干净-噪声”配对数据稀缺的问题，提出基于多变量高斯-泊松噪声先验的自监督多盲特征多模态注意力网络（MGP-MBFANet）。通过构建噪声-噪声训练对、设计四邻域采样机制突破数据瓶颈，以及引入多盲注意力模块解决特征映射冲突，显著提升复杂噪声场景下的去噪效果。实验表明该方法在多个真实数据集上优于现有SOTA方法。

　　图像去噪是低层次视觉中的关键任务之一，其目标是从带有噪声的图像中恢复出高质量的图像。随着深度学习技术的发展，越来越多的研究开始关注如何提升去噪算法的性能。然而，实际图像中的噪声分布往往比合成噪声更为复杂，并且在不同的应用场景中表现出差异性。此外，由于“干净到噪声”配对图像数据集的稀缺性，现有的去噪模型在面对真实噪声时难以实现高效的去噪效果。为了应对这些挑战，本文提出了一种基于多变量高斯-泊松噪声先验的自监督多盲特征多调制注意力网络，即MGP-MBFANet，用于真实图像去噪。

在噪声建模方面，MGP-MBFANet采用了一种多变量高斯-泊松混合模型，该模型能够更精确地反映真实场景中噪声的复杂分布。传统的图像去噪方法通常假设噪声是独立同分布的，并且多采用高斯噪声模型来生成合成数据集。然而，这种假设与真实世界中的噪声特性并不相符。真实图像中的噪声不仅受到传感器捕捉光子的非均匀统计特性的影响，还涉及图像信号处理（ISP）流程中的多种非线性操作，如伽马校正、白平衡调整和马赛克插值等。这些操作使得噪声之间存在复杂的空间相关性和信号依赖性，因此，仅使用零均值的高斯分布模型无法准确描述真实噪声的特性。

为了应对这一问题，许多研究开始转向构建大规模的真实配对数据集，如SIDD和DND。然而，实际图像采集过程中，获取“噪声-干净”图像对不仅耗时，还容易因相机运动、物体移动或其他外部因素导致图像对之间的对齐偏差，从而影响去噪效果。因此，依赖于配对数据的监督学习方法在实际应用中存在一定的局限性。为了解决这一问题，研究者们开始探索无监督学习范式，如Noise2Noise（N2N）和Noise2Void（N2V）。N2N首次揭示了“一到多”映射在去噪任务中的内在特性，表明一个干净的图像可以对应多个噪声版本。这一理论突破推动了盲图像去噪网络（BSN）的发展，如N2V通过随机掩码输入像素，降低了对身份映射的依赖。然而，BSN框架中假设噪声是相互独立的，这与真实噪声中的复杂相关性相矛盾。

近年来，一些研究如DBSN和CVF-SID进一步确认了真实噪声通常具有空间相关性和信号依赖性的特点，这对传统自监督方法提出了挑战。针对这一问题，一些盲图像质量评估（BIQA）方法试图通过评估失真图像的质量，提供关于真实噪声特性和失真模式的洞察。例如，AP-BSN引入了像素洗牌下采样策略（PD），将输入图像分解为多个子图，从而破坏噪声的空间相关性，并将BSN框架扩展到真实噪声场景。然而，这一方法也存在新的瓶颈：在应用PD后，生成的子图像数量大幅减少，这显著降低了训练样本的数量，进而影响模型对参数空间的优化能力。特别是在真实噪声数据集本身数量有限的情况下，这一数据瓶颈严重限制了去噪性能的理论上限。

为了克服这一问题，本文提出了一种基于多变量高斯-泊松噪声先验的自监督多盲特征多调制注意力网络（MGP-MBFANet），该网络通过三方面的创新架构设计，实现了对真实噪声的有效去除。首先，在噪声建模层面，构建了一种具有空间相关性和像素相关性的多变量高斯-泊松混合模型，从而显著提升算法对复杂真实噪声的适应能力和泛化能力。其次，针对数据瓶颈问题，设计了一种基于四邻域像素的随机采样机制，以构建“噪声-噪声”训练对，取代传统的“干净-噪声”配对，从而在确保去噪效率的同时，大幅降低数据采集成本。第三，在网络架构层面，提出了一种多尺度多盲区域特征提取模块（MBFAM），该模块通过在特征空间中引入多掩码机制，打破特征通道之间的隐式相关性，从根本上解决特征身份映射的问题。

这三方面的创新形成了一个逐步推进的解决方案：首先，建立一个更准确的噪声统计模型，以匹配真实场景；其次，设计一种数据增强策略，以突破样本数量的限制；最后，构建一个防止过拟合的网络架构，以确保模型优化效率。这些创新的协同作用显著提升了算法在复杂噪声场景中的鲁棒性。此外，本文提出的MGP-MBFANet在多个真实世界数据集上表现出优于当前最先进的自监督去噪方法的性能。

本文的研究还关注了移动终端图像去噪中的两个关键问题：第一，现有设备内置的去噪算法存在更新滞后，导致用户拍摄的图像中仍然残留噪声；第二，传统的监督学习方法依赖于大量人工收集的“噪声-干净”图像对，这不仅耗费大量人力和时间成本，还可能因数据质量不一致而影响模型性能。基于上述问题，本文提出了一种适用于用户的外部算法MGP-MBFANet，该算法能够在不依赖于配对数据的情况下，实现对真实噪声的有效去除。

在实验设置方面，本文参考了AP-BSN的一些训练参数设置。具体而言，在训练过程中，下采样步长因子设置为5，而在验证过程中，下采样步长因子设置为2。训练过程中默认使用Adam优化器，初始学习率为某个特定值，批大小为16，图像块大小为160×160。在网络微调阶段，学习率被衰减为某个较小的值，批大小减少到8，以提高模型的收敛速度和稳定性。此外，本文还对训练过程中的其他参数进行了优化，以确保模型在不同噪声场景下的泛化能力。

在实验结果方面，本文通过一系列对比实验验证了MGP-MBFANet的有效性。实验结果表明，该方法在多个真实世界数据集上表现出优于当前最先进的自监督去噪方法的性能。具体而言，在客观评价指标方面，如PSNR和SSIM，MGP-MBFANet均取得了更高的得分。同时，在主观视觉质量方面，该方法也表现出更强的图像恢复能力，能够更清晰地保留图像的高频细节。这些结果表明，MGP-MBFANet在真实图像去噪任务中具有显著的优势。

此外，本文还对MGP-MBFANet的各个组成部分进行了详细分析。在噪声建模阶段，通过随机裁剪和旋转输入图像，再依次添加泊松噪声和多变量高斯噪声，构建了一个合成数据集。该数据集不仅包含了更多复杂的像素空间位置和强度相关性，还扩大了训练范围，提升了模型对多样真实噪声的适应能力。在噪声采样阶段，通过四邻域像素的随机采样机制，构建了“噪声-噪声”训练对，取代了传统的“干净-噪声”配对，从而在确保去噪效率的同时，大幅降低了数据采集成本。在特征提取阶段，通过多尺度多盲区域特征提取模块（MBFAM），该模块引入了多掩码机制，打破特征通道之间的隐式相关性，从根本上解决特征身份映射的问题。

本文的创新点在于，通过构建更精确的噪声统计模型，实现了对真实噪声的更好适应；通过引入“噪声-噪声”训练对，解决了数据瓶颈问题；通过多尺度多盲区域特征提取模块，提升了模型对复杂噪声场景的鲁棒性。这些创新的结合使得MGP-MBFANet在真实图像去噪任务中取得了更好的效果。

在图像恢复过程中，高频细节的保留是衡量去噪性能的重要指标之一。传统的监督学习方法往往在去噪过程中过度关注低频部分，导致高频细节丢失。而MGP-MBFANet通过多变量高斯-泊松混合模型和多尺度多盲区域特征提取模块，能够更有效地保留高频细节。此外，该方法还通过四邻域像素的随机采样机制，确保了训练数据的多样性，从而提升了模型对复杂噪声场景的适应能力。

在实际应用中，图像去噪不仅需要高效的算法，还需要能够适应不同噪声场景的模型。MGP-MBFANet通过构建多变量高斯-泊松混合模型，能够更好地适应真实场景中的复杂噪声分布。此外，该方法通过引入“噪声-噪声”训练对，解决了数据瓶颈问题，使得模型能够在有限的数据量下实现更优的性能。同时，通过多尺度多盲区域特征提取模块，该方法能够更有效地提取和恢复图像的高频细节，从而提升图像的视觉质量。

在图像处理领域，噪声的建模和特征提取是两个关键环节。传统的噪声建模方法通常假设噪声是独立同分布的，而MGP-MBFANet通过构建具有空间相关性和像素相关性的多变量高斯-泊松混合模型，能够更准确地反映真实噪声的特性。这不仅提升了模型对复杂噪声的适应能力，还增强了其泛化能力。此外，传统的特征提取方法往往依赖于单一的特征通道，而MGP-MBFANet通过多尺度多盲区域特征提取模块，引入了多掩码机制，从而打破特征通道之间的隐式相关性，提升了特征提取的多样性。

在图像恢复过程中，特征通道之间的隐式相关性可能会导致模型的过拟合，从而影响其在真实噪声场景中的泛化能力。MGP-MBFANet通过多尺度多盲区域特征提取模块，有效地解决了这一问题。该模块能够从不同尺度和不同盲区域提取特征，从而提升模型对复杂噪声场景的适应能力。此外，该模块还通过多掩码机制，确保了模型在不同噪声场景下的泛化能力，从而提升了去噪效果。

在图像处理领域，数据的多样性和质量是影响模型性能的重要因素。传统的监督学习方法依赖于大量人工收集的“噪声-干净”图像对，这不仅耗费大量人力和时间成本，还可能因数据质量不一致而影响模型性能。而MGP-MBFANet通过引入“噪声-噪声”训练对，解决了这一问题。该方法能够在不依赖于任何干净参考图像的情况下，实现对真实噪声的有效去除，从而提升了模型的泛化能力。

此外，MGP-MBFANet在实验中表现出优异的性能。在多个真实世界数据集上，该方法均取得了优于当前最先进的自监督去噪方法的性能。具体而言，在客观评价指标方面，如PSNR和SSIM，MGP-MBFANet均取得了更高的得分。同时，在主观视觉质量方面，该方法也表现出更强的图像恢复能力，能够更清晰地保留图像的高频细节。这些结果表明，MGP-MBFANet在真实图像去噪任务中具有显著的优势。

在实际应用中，图像去噪不仅需要高效的算法，还需要能够适应不同噪声场景的模型。MGP-MBFANet通过构建更精确的噪声统计模型，能够更好地适应真实场景中的复杂噪声分布。此外，该方法通过引入“噪声-噪声”训练对，解决了数据瓶颈问题，使得模型能够在有限的数据量下实现更优的性能。同时，通过多尺度多盲区域特征提取模块，该方法能够更有效地提取和恢复图像的高频细节，从而提升图像的视觉质量。

综上所述，MGP-MBFANet是一种基于多变量高斯-泊松噪声先验的自监督多盲特征多调制注意力网络，用于真实图像去噪。该方法通过三方面的创新设计，显著提升了图像去噪的性能，同时降低了数据采集成本，使得模型在真实噪声场景中具有更强的适应能力和泛化能力。这些创新的结合使得MGP-MBFANet在真实图像去噪任务中取得了更好的效果。