特征增强与跨模态信息聚合网络：提升全色锐化的光谱保真与空间细节保留

《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》：Cross-Modal Information Aggregation Network With Feature Enhancement for Pansharpening

本文针对全色锐化中光谱特性保持不佳与空间细节提取不足的难题，提出了一种创新的特征增强跨模态信息聚合网络（CMIAN）。该网络通过特征增强（FE）模块、跨模态特征聚合（CMFA）模块和跨模态信息重建（CMIR）模块，有效整合了PAN与MS图像的互补信息。实验在QuickBird、WorldView-2和WorldView-3数据集上验证了CMIAN的优越性，例如在WorldView-3数据集上，其平均峰值信噪比（MPSNR）和光谱角制图仪（SAM）分别优于次优方法5.95%和9.41%，为高分辨率多光谱（HRMS）图像生成提供了高效解决方案。

　　

随着遥感技术的飞速发展，卫星影像在农业、环境监测、城市规划及灾害管理等领域扮演着越来越重要的角色。然而，受限于卫星传感器的硬件条件，遥感卫星通常配备两种不同类型的传感器：一种用于获取高空间分辨率的全色（PAN）图像，另一种用于捕获低空间分辨率但高光谱分辨率的多光谱（MS）图像。PAN图像虽具高空间分辨率，却缺乏丰富的光谱信息；而MS图像虽光谱信息丰富，但空间细节不足。全色锐化技术应运而生，其核心目标便是将这两种图像融合，生成兼具高空间分辨率和高光谱分辨率的高分辨率多光谱（HRMS）图像，以满足各种高精度应用的需求。

尽管传统全色锐化方法，如分量替换（CS）、多分辨率分析（MRA）和变分优化（VO）等，在过去几十年里取得了一定进展，但它们往往难以处理非线性问题，容易导致光谱或空间失真，且严重依赖先验知识。近年来，随着神经网络技术的进步，基于深度学习（DL）的全色锐化方法展现出强大的非线性建模和特征表示能力，能更好地保持光谱和空间信息。从最初的PNN（Pansharpening Neural Network）到后来的基于卷积神经网络（CNN）、生成对抗网络（GAN）以及Transformer的方法，DL技术在该领域不断推陈出新。例如，FAFormer通过频域解耦，MRPFG通过空间-频率Transformer集成，PAN-Crafter通过跨模态失准校正，均取得了显著性能提升。然而，大多数现有方法仍存在明显不足：它们未能充分提取PAN图像中的空间细节信息，也未能有效收集模态内特征并聚合跨模态的互补信息，这可能导致融合图像的光谱保真度低，并丢失关键的高频细节。

为了解决上述问题，Lihua Jian、Yuanyuan Chen、Gemine Vivone和Yuxuan Zheng等研究人员在《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》上发表了他们的研究成果，提出了一种新颖的带有特征增强（FE）的跨模态信息聚合网络（CMIAN）。该网络经过精心设计，旨在全面提取和聚合跨模态互补信息，显著提升全色锐化的效果。

CMIAN模型主要包含三个核心模块。首先是特征增强（FE）模块，它采用一种“简化与增强”的策略，通过部分卷积（PConv）操作和门控机制来增强有用特征并减轻冗余信息处理负担。特别地，针对MS图像，该模块引入了频率自适应扩张卷积（FADC），它能根据MS数据的光谱信息动态分配局部扩张率，并通过对特征图进行频域分解和重加权来平衡频域能量，从而更有效地保留MS图像的光谱信息。其次是跨模态特征聚合（CMFA）模块，该模块包含自适应通道自注意力（ACSA）块和细节锚定块（DAB）。ACSA块通过通道自注意力（CW-SA）建模MS图像的全局光谱信息，并结合并行卷积补充空间局部性，实现光谱特征的模态内聚合。DAB则专门用于锚定PAN图像的高频细节特征，通过特征增强分支（FEB）和细节增强分支（DEB）的双分支架构，有效提炼高频信息。CMFA模块将ACSA提取的光谱信息与DAB锚定的空间细节信息通过元素相加的方式进行聚合，实现了跨模态互补信息的有效整合。最后是跨模态信息重建（CMIR）模块，该模块引入了自适应多核多尺度门控（AMMG）块。AMMG块通过一组并行深度多尺度卷积核提取PAN图像在不同感受野下的纹理特征，并利用门控网络进行自适应特征调整，以关注被忽视的大尺度信息。同时，CMIR还结合了上下文前馈网络（CFFN），通过条带卷积捕获长程上下文依赖关系，实现多尺度与长程上下文信息的全面整合。CMIR模块最终将AMMG的输出与CMFA模块的输出进行拼接，并通过残差网络进行图像重建，生成最终的HRMS图像。模型的损失函数采用平均绝对误差（L₁损失）来衡量融合图像与真实值（GT）之间的差异。

研究团队在QuickBird（QB）、WorldView-2（WV2）和WorldView-3（WV3）三个遥感数据集上进行了广泛的实验，按照Wald协议进行数据模拟，并从降低分辨率和全分辨率两个层面进行了定量和定性评估。评价指标包括相关系数（CC）、平均峰值信噪比（MPSNR）、相对全局维数合成误差（ERGAS）、光谱角制图仪（SAM）、Q²ⁿ指数（如Q4、Q8）以及全分辨率下的QNR、D_λ（光谱失真）和D_s（空间失真）等。

定量结果分析

在降低分辨率的实验中，CMIAN在QB、WV2和WV3三个数据集上的所有评价指标均达到了最优值。例如，在WV3数据集上，CMIAN的MPSNR为37.8454 dB，SAM为3.9508，相较于次优方法（LFormer，MPSNR为37.7859 dB，SAM为4.0449），分别提升了约0.16%和2.33%。在QB数据集上，CMIAN的ERGAS和SAM指标相较于次优方法分别提升了3.32%和3.03%。在全分辨率实验中，CMIAN在WV2和WV3数据集上取得了最佳的D_λ和QNR结果，在QB数据集上取得了最佳的D_s结果，进一步证实了其在实际应用中的有效性。

定性结果分析

视觉对比结果同样令人信服。以QB数据集为例，传统方法（如BDSD、SR-D）和部分DL方法（如PNN、SRPPNN）的结果在放大区域出现明显的细节模糊或光谱失真（如建筑物轮廓不清晰、屋顶颜色出现不自然的蓝紫色）。而CMIAN生成的图像则保持了最丰富的空间细节和最锐利的边缘，其颜色也最接近真实值GT。误差图（通过计算合成图像与参考图像之间的平均L₁范数生成）显示，CMIAN的误差区域最暗，表明其重建误差最小。在WV2和WV3数据集的视觉结果中，CMIAN同样在光谱保真度和空间细节恢复方面表现最佳，尤其是在处理大面积植被区域和复杂建筑结构时，其颜色自然度和纹理细节还原度都优于其他对比方法。

计算复杂度分析

从模型复杂度来看，CMIAN在参数量（Params）和浮点运算数（FLOPs）上处于中等水平（WV3数据集上为196.746 K Params和93.4544 G FLOPs）。与性能接近的LFormer（1788 K Params, 120 G FLOPs）相比，CMIAN在取得更优性能的同时，参数量和计算量显著降低，体现了其在效率与性能间的良好平衡。

消融实验

为了验证各模块的有效性，研究人员进行了消融实验。结果表明，移除FE模块中的FAEB或FRB都会导致ERGAS和SAM指标显著下降（约4.5%-5.9%），视觉上出现模糊和光谱失真。移除CMFA模块会导致细节恢复和光谱一致性下降。移除CMIR模块中的AMMG块则会影响大尺度特征的清晰度和完整性。这些结果充分证明了FE、CMFA和CMIR三个模块在CMIAN网络中不可或缺的作用。

研究结论与意义

该项研究成功提出并验证了一种创新的全色锐化框架——CMIAN。该框架通过特征增强模块优化初始特征表示，通过跨模态特征聚合模块深度探索并整合光谱与空间细节信息，最后通过跨模态信息重建模块自适应平衡多尺度信息并完成高质量图像重建。大量实验证明，CMIAN在多个遥感数据集上，无论是定量指标还是视觉质量，均超越了现有的先进方法，特别是在保持光谱特性和提取空间细节方面表现突出。CMIAN的成功研制，不仅为全色锐化领域提供了一种高效可靠的解决方案，其内部模块的设计思路（如FADC用于光谱学习、DAB用于高频细节锚定、AMMG用于多尺度信息平衡）也对其他跨模态图像融合任务具有重要的借鉴意义。该研究显著推动了高分辨率遥感图像融合技术的发展，为相关领域的实际应用奠定了坚实基础。