双任务语义感知引导的红外与可见光图像融合网络SPGFuse：协同提升视觉质量与高层语义分割性能

本文推荐一种创新的双任务协同网络SPGFuse，通过共享多特征提取编码器（multi-feature extraction network）实现红外与可见光图像融合（IVIF）与语义分割的联合优化。该方法创新性采用通道-空间注意力（CSA）机制保留纹理细节，交替交叉注意力（ACA）机制融合跨模态语义信息，并通过部分共享解码器实现双任务信息互补。实验表明，该方法在视觉质量和高层语义分割任务中均超越现有技术（state-of-the-art），代码已开源。

　　

亮点

本研究提出SPGFuse——一种双任务语义感知引导网络，通过共享编码器和协同训练策略，同步提升红外与可见光图像融合质量与语义分割精度。

方法学

特征提取：网络前三层通过浅层特征模块（shallow feature extraction）捕获纹理细节，后三层采用快速下采样模块（fast down-sampling）提取全局语义。

特征融合：

• 表面细节：通道-空间注意力（CSA）机制强化局部强度分布与纹理保留

• 深层语义：交替交叉注意力（ACA）机制挖掘跨模态差异与共性信息

  双任务解码：共享部分解码器实现融合图像生成与语义预测的信息互补，显著降低计算成本。

实验验证

在低参数量设定下，SPGFuse的语义分割交并比（IoU）超越基线模型15%，同时融合图像在EN（熵）、SSIM（结构相似性）等指标上提升显著。

结论

SPGFuse通过多尺度特征协同与双任务驱动，为自动驾驶（autonomous driving）、目标识别（target recognition）等场景提供高效解决方案。

作者贡献声明

应诗：实验设计/论文撰写；刘源：基金支持/理论指导；刘婷婷：数据验证；李春来：代码实现；袁丽音：统计分析；隋秀宝：论文修订。

利益冲突声明

作者声明无潜在竞争利益。

致谢

感谢国家自然科学基金（62301253, 62427818）和中央高校基本科研业务费（30925010511）的资助。