面向高光谱与多光谱图像融合的全局-局部双域潜在扩散网络(GLDFN)研究

《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》：Global-Local Dual-Domain Latent Diffusion Network for Hyperspectral and Multispectral Image Fusion

本文针对高光谱图像(HSI)与多光谱图像(MSI)融合过程中存在的目标信息保留不完整、计算复杂度高等问题，提出了一种创新的两阶段全局-局部双域潜在扩散网络(GLDFN)。该研究通过构建空间-频域协同表示方案，首先提取参考HSI的潜在空间表征，然后利用条件扩散模型生成融合图像。实验结果表明，GLDFN在合成和真实数据集上均实现了高质量的融合效果，显著优于现有先进方法，为遥感图像处理提供了新的技术途径。

　　

在遥感技术飞速发展的今天，高光谱图像(HSI)以其连续窄波段成像能力，能够捕捉地物细微的光谱差异，已成为环境监测、资源勘探和农业 surveillance 等领域不可或缺的数据源。然而，由于传感器设计的物理限制，HSI在获得高光谱分辨率的同时，往往不得不牺牲空间分辨率，导致图像细节模糊，严重影响其实际应用价值。与之相对，多光谱图像(MSI)通过减少波段数量换取更高的空间分辨率，但其较低的光谱分辨率又限制了精细目标识别能力。这种"鱼与熊掌不可兼得"的困境，促使研究人员不断探索HSI与MSI的融合技术，以期获得兼具高光谱和高空间分辨率的理想图像。

传统的光谱锐化方法如MTF-GLP和GSA，虽然计算效率较高，但容易产生光谱失真或空间畸变。基于矩阵分解的模型驱动方法如NLSTF虽精度较高，却面临计算量大、参数设置依赖经验等问题。随着深度学习技术的发展，基于CNN、GAN和Transformer的方法在图像融合领域展现出强大潜力，但仍存在特征表示不足、计算复杂度高、难以全面保留目标信息等挑战。特别是在处理具有复杂空间尺度和光谱特征的地物目标时，现有方法往往无法兼顾全局结构和局部细节的完整保留。

针对这些挑战，研究团队创新性地提出了全局-局部双域潜在扩散网络(GLDFN)。该方法的核心思路是通过双阶段训练框架，在压缩的潜在空间中同时进行空间-频域特征提取和扩散模型去噪过程，显著降低了计算维度。GLDFN首先对遥感图像进行全局和局部建模，增强模型对全局信息的感知能力，同时确保算法对局部微小目标的关注度。考虑到不同目标在空间-频域的分布特性差异，该方法进一步整合空间和频域信息，提升了网络对不同尺度目标的感知能力。

在技术方法上，GLDFN主要采用了以下几个关键技术：首先，设计了全局-局部空间-频域变换/逆变换网络，包括局部频域变换/逆变换模块(LFTM/LFITM)、全局频域变换/逆变换模块(GFTM/GFITM)、局部空间域变换/逆变换模块(LSTM/LSITM)和全局空间域变换/逆变换模块(GSTM/GSITM)，分别基于离散小波变换(DWT)、快速傅里叶变换(FFT)、ResNet和Mamba网络实现多尺度特征提取；其次，构建了频域融合网络(FFN)和空间域融合网络(SFN)，通过差异信息分析和特征门控机制实现精确融合；然后，开发了条件扩散网络，采用局部-全局U-Net(LG U-Net)架构，在编码器使用Mamba网络进行全局建模，在解码器使用ResNet进行局部细节重建；最后，设计了空间-频域融合网络(SFFN)，通过局部-全局特征提取模块(LGFEM)和跨模态动态融合机制实现最终图像重建。

全局-局部空间-频域特征提取效果

通过综合对比实验，研究团队验证了GLDFN各模块的协同作用。在PaviaC、Xiongan和Chikusei三个合成数据集上的定量评估表明，GLDFN在峰值信噪比(PSNR)、光谱角制图(SAM)、相对全局误差(ERGAS)、交叉相关(CC)和均方根误差(RMSE)等指标上均优于对比方法。特别是在PSNR指标上，GLDFN在PaviaC数据集达到35.63dB，在Xiongan数据集达到28.56dB，在Chikusei数据集达到30.45dB，显著超过了传统方法(MTF-GLP、GSA)、矩阵分解方法(NLSTF)、CNN方法(SSRNET)、GAN方法(QIS-GAN)、Transformer方法(MSST-Net)和扩散方法(KANDiff)。

频域与空间域融合性能分析

频域融合网络和空间域融合网络的设计有效解决了特征冗余问题。通过差异信息提取和特征重校准机制，FFN和SFN能够精确融合多源图像特征。在真实数据集PRISMA-S2A上的实验进一步证实了GLDFN的实用价值。对建筑物和湿地区域的融合结果显示，GLDFN在保持光谱一致性和空间细节方面均表现优异。光谱曲线对比分析表明，GLDFN重建的光谱特征最接近参考数据，特别是在蓝色屋顶建筑、明亮屋顶建筑和水泥建筑等典型地物上。

条件扩散模型的生成效果

条件扩散模型在潜在空间中的特征生成能力是GLDFN的另一大亮点。相比于传统U-Net架构，LG U-Net通过Mamba编码器和ResNet解码器的结合，实现了全局语义建模和局部结构优化的平衡。在扩散过程中，空间-频域条件矩阵的引入为特征生成提供了有效的指导信号，确保生成图像既保持光谱一致性，又具有丰富的空间细节。

分类验证与应用价值

为了全面评估融合结果的实用价值，研究团队还进行了基于支持向量机(SVM)的土地覆盖分类实验。在PRISMA-S2A真实数据集上，GLDFN融合结果的总体分类精度(OA)达到90.3%，Kappa系数(KC)为0.862，显著优于低分辨率HSI(OA=73.6%, KC=0.681)和其他融合方法。这一结果证明GLDFN不仅能提高图像质量，还能显著提升地物分类精度，具有重要的应用价值。

计算效率与性能平衡

在计算复杂度方面，GLDFN展现出显著优势。尽管模型参数量达到6.54M，但通过潜在空间提取和参数共享策略，其计算负载(FLOPS)为32.24G，训练时间43.68分钟，测试时间0.93秒，在保持高性能的同时实现了计算效率的优化。特别是与基于Transformer的方法相比，GLDFN采用的Mamba模块具有线性复杂度，有效克服了自注意力机制的二次复杂度瓶颈。

研究结论表明，GLDFN通过全局-局部双域建模和潜在扩散机制的创新结合，成功解决了HSI与MSI融合中的信息保留和计算效率问题。该方法不仅在各量化指标上达到最优，在实际应用中也展现出强大的性能。其创新性主要体现在三个方面：一是通过双域潜在建模策略实现了计算效率与重建质量的协同优化；二是采用Mamba网络替代传统Transformer，在保持全局感受野的同时显著降低计算复杂度；三是通过参数共享和模块化设计，建立了全面而高效的特征提取系统。

这项研究的成功为高光谱遥感图像处理提供了新的技术路径，特别是在精准农业、环境监测、资源勘查等领域具有广阔的应用前景。未来，随着遥感技术的不断发展和应用需求的日益增长，GLDFN框架有望进一步扩展至更多模态的遥感数据融合任务，为地球观测和遥感科学研究贡献新的力量。