MDFP-Net：基于模型驱动深度展开网络的傅里叶叠层成像超分辨率重建新方法

《Computational Visual Media》：MDFP-Net: A Model-Driven Deep Neural Network for Fourier Ptychography

本文针对傅里叶叠层成像(FP)重建过程中存在的计算复杂度高、噪声敏感等问题，提出了一种模型驱动的深度神经网络MDFP-Net。该网络通过展开新颖的优化算法，将振幅流(amplitude flow)与可学习先验相结合，在复数域和实数域交替进行频谱更新和图像重建。实验结果表明，该方法在仿真和真实长距离反射FP系统中均优于传统算法和其他深度学习方法，为计算成像领域提供了新的解决方案。

　　

在计算成像领域，傅里叶叠层成像(Fourier ptychography, FP)作为一种新兴的技术，通过合成孔径成像和相位检索的结合，突破了光学衍射极限，能够实现超分辨率成像。然而，传统的FP重建方法面临着严峻的挑战：复杂的退化过程、高昂的计算成本以及对系统误差的敏感性，这些都限制了其在实际应用中的效果。

传统FP方法基于交替投影(AP)算法、Wirtinger流优化(WFP)等，虽然在一定程度上有效，但需要数百次迭代计算，耗时严重。更重要的是，这些手工设计的算法难以有效处理图像噪声等系统误差。近年来，深度学习方法的引入为FP带来了新的希望，如PtychNet、U-Net、cGAN等网络在重建速度和质量上都超越了传统方法。但这些网络直接套用计算机视觉任务的通用框架，对FP任务的可解释性不足。

为了解决这些问题，研究人员开展了一项创新性研究，提出了一种模型驱动的深度神经网络MDFP-Net。该网络的核心思想是将传统FP框架与深度学习方法更好地结合，通过展开新颖的优化算法来构建可解释的网络结构。与直接重建高分辨率图像不同，该方法仅使用深度网络嵌入可学习的图像先验到实用FP框架中，从而提高效率和抗噪能力。

研究方法上，团队首先提出了专门针对FP任务的新优化模型，该模型在图像域x上施加正则化，而不是在复杂频谱z上，因为图像先验更容易建模。优化模型包含三个关键部分：基于振幅流的数据保真项、图像与频谱振幅之间的一致性项以及可学习的正则化项。基于此，研究人员推导出了高效的优化算法，交替更新频谱z和图像x。

MDFP-Net的设计紧密遵循优化算法的迭代过程，包含初始化、重建和调整三个组件。重建部分有S个阶段，每个阶段对应算法的一次迭代，包括Z-Net和X-Net两个子网络。Z-Net负责在复数域更新频谱信息，结合局部信息提取（遵循振幅流）和全局信息提取（利用傅里叶变换）；X-Net则在实数域改进重建图像，使用可学习的近端算子(ProxNet)。这种设计使网络在傅里叶叠层成像意义上更加可解释。

网络分析与验证

研究人员通过大量实验验证了MDFP-Net的有效性。在噪声自由条件下的7×7采样实验中，MDFP-Net在BSDS100、Set12和prDeep三个测试集上的PSNR和SSIM指标均优于其他方法。当采样增加到15×15时，MDFP-Net的优势更加明显，表明其能够有效利用更多的频谱信息。

在噪声测试中，MDFP-Net在高斯噪声、散斑噪声和复杂噪声情况下都表现出强大的鲁棒性。特别是在散斑噪声实验中，即使在40%的噪声水平下，MDFP-Net仍能保持较高的重建质量，而传统方法如WFP和RAF-RED的性能则显著下降。

相位重建能力

由于MDFP-Net是模型驱动的，它继承了基于模型的方法重建相位信息的能力，而其他深度学习方法则无法实现这一点。实验结果显示，MDFP-Net重建的相位结果在视觉上明显优于TowardCCA、WFP和RAF-RED等对比方法。值得注意的是，训练过程中并没有使用相位图像的监督信息，这表明MDFP-Net在一定程度上具有很好的可解释性。

真实系统验证

为了进一步验证该方法在真实场景中的有效性，研究团队专门构建了长距离反射FP系统。该系统使用波长为976 nm的半导体激光器照明物体，相机与物体距离约8.7米，通过二维平移台在7×7个位置上采集低分辨率图像。在USAF分辨率测试图和五美分硬币的真实物体成像实验中，MDFP-Net都获得了最好的重建结果，显示出在实际应用中的巨大潜力。

模型驱动与数据驱动的比较

研究还发现，在大多数实验中，MDFP-Net都实现了最佳性能，但在极端噪声情况下（如高斯噪声σ=0.008结合40%散斑噪声），数据驱动方法BNN的表现优于模型驱动方法。研究人员认为这是因为重要图像信息被过多噪声破坏，分布变得与假设模型不一致，而数据驱动方法只关注数据信息，受此缺点影响较小。

研究结论表明，MDFP-Net作为一种基于模型驱动的神经网络，通过展开新颖的优化算法，为傅里叶叠层成像提供了一种快速而强大的重建方法。它不仅继承了传统算法的可解释性，还通过数据驱动学习提高了重建质量和鲁棒性。该方法在仿真和真实实验中均表现出色，特别是在噪声环境下和相位重建方面具有独特优势。

这项研究的重要意义在于首次将振幅流嵌入网络结构，并在复数域和实数域之间交替进行振幅重建，为FP任务提供了更加合适的深度学习解决方案。未来，研究人员计划进一步减小真实数据与仿真训练数据之间的差距，探索与扩散模型的联系，并整合CNN-Transformer联合框架来增强MDFP-Net的性能。

该研究由李宝鹏、谢奇等人完成，发表于《Computational Visual Media》期刊，得到了国家自然科学基金等多个项目的支持，为计算成像和计算摄影学领域的发展提供了新的思路和方法。