基于Transformer门控交互U-Net的高光谱与多光谱图像融合新方法

为解决高光谱图像(HSI)与多光谱图像(MSI)融合中跨模态信息交互不足的问题，研究人员提出了一种新型Transformer门控交互U-Net（TGIU-Net）。该网络通过堆叠式跨模态特征提取模块（CMFEM）和创新性跨模态合并Transformer门（CMMTG），实现了充分的信息交互与高效特征融合。实验表明，TGIU-Net在五个数据集上均能生成兼具高空间清晰度和光谱保真度的融合图像，为遥感、农业等领域的高精度视觉分析提供了新工具。

　　

研究背景与意义
高光谱图像(HSI)凭借其独特的"光谱-图像立方体"特性，在遥感监测、农业评估和文物保护等领域发挥着重要作用。然而，受限于成像技术，HSI往往难以同时获得高空间分辨率与丰富光谱信息，这一矛盾严重制约了高精度视觉分析的发展。现有解决方案中，将低分辨率HSI(LR-HSI)与高分辨率MSI(HR-MSI)融合的方法虽能优势互补，但传统方法面临泛化能力差、信息交互不足等挑战。尽管深度学习技术如U-Net和Transformer已被引入该领域，现有网络仍存在跨模态交互不充分、计算复杂度高等瓶颈。

针对上述问题，中国国家自然科学基金支持的研究团队开发了基于Transformer门控交互的U-Net（TGIU-Net）。该网络通过模块化设计实现了跨模态特征的深度交互与高效融合，在五个公开数据集上的实验表明，其生成的融合图像在空间细节和光谱特征保留方面均超越现有方法。相关成果发表于《Expert Systems with Applications》，为高光谱图像处理提供了新范式。

关键技术方法
研究采用三阶段技术路线：(1)构建堆叠式跨模态特征提取模块(CMFEM)，通过双U-Net结构分别处理LR-HSI和HR-MSI；(2)在U-Net瓶颈层设计跨模态合并Transformer门(CMMTG)，整合Merge Transformer与门控机制实现信息交互；(3)开发跨模态特征聚合模块(CMFAM)整合多尺度特征。采用渐进式上采样策略解决分辨率差异问题，使用华盛顿DC Mall等五个遥感数据集进行验证。

研究结果

1. 网络架构设计：TGIU-Net的双路径对称结构中，CMFEM模块通过堆叠实现多尺度特征提取，CMMTG在瓶颈层完成跨模态交互，CMFAM则实现特征聚合。这种设计突破了传统Transformer对输入尺寸的限制。

2. 信息交互机制：CMMTG创新性地将两个U-Net瓶颈层特征合并后输入Transformer模块，利用其长程依赖捕捉能力增强交互深度。门控机制则有效过滤噪声，提升信息流效率。

3. 性能验证：在Pavia Center等数据集上，TGIU-Net的ERGAS(相对无量纲全局误差)指标平均降低23.7%，SSIM(结构相似性)提升12.4%，证明其在空间-光谱一致性方面的优势。

结论与展望
该研究提出的TGIU-Net通过CMFEM和CMMTG的创新设计，首次在HSI/MSI融合中实现了深度跨模态交互。实验证实其能有效平衡计算复杂度与融合质量，特别适合大尺度遥感数据处理。未来可进一步探索动态门控机制和轻量化设计，推动该技术在精准农业、环境监测等领域的应用。研究团队特别指出，该方法的核心价值在于突破了传统融合方法对先验知识的依赖，为端到端的高光谱图像增强提供了普适性框架。