AFMF-Net：一种轻量级的自适应特征调制与融合网络，用于红外图像超分辨率处理

《Optics & Laser Technology》：AFMF?Net: A lightweight adaptive feature modulation and fusion network for infrared image super?resolution

红外图像超分辨率中的边缘模糊和背景建模问题，提出AFMF-Net轻量级网络，通过自适应特征调制模块（AFMM）结合多核动态卷积增强边缘感知，嵌套双分支特征融合模块（NDFFM）实现跨尺度双向交互，实验验证其优于现有方法。

　　
本文针对红外图像超分辨率（IRSR）领域的关键技术瓶颈，提出了一种名为自适应特征调制与融合网络（AFMF-Net）的创新解决方案。研究团队来自北京理工大学光学与物理学院，依托国家工程研究中心开展技术攻关，重点突破传统红外图像增强方法在边缘细节捕捉、多尺度特征融合及模型轻量化设计方面存在的不足。

在技术背景方面，红外成像虽具备穿透烟雾、雨雪等复杂环境的能力，但受限于传感器成本、光学衍射极限及环境噪声，普遍存在分辨率低、对比度弱、高频细节缺失等问题。现有研究主要分为两类：一类依赖可见光图像辅助重建（如DASRGAN），但存在多模态信息对齐困难、应用场景受限的缺陷；另一类采用单模态红外图像处理（如PIFRNet、MCRM），但难以平衡边缘增强与背景保留、多尺度特征融合与计算效率的矛盾。作者通过分析现有方法在边缘建模（CoRPLE、CRG）和细节恢复（Difiisr、MCRM）方面的局限性，发现传统静态卷积难以适应红外图像中动态变化的边缘特征，而现有轻量化架构（如MSLR-SR）在多尺度交互和细节保留方面仍有提升空间。

AFMF-Net的核心创新体现在两个模块的协同设计：
1. **自适应特征调制模块（AFMM）**：通过动态卷积与多核估计（MKEM）的有机结合，实现空间位置自适应的特征调整。该模块突破传统单核卷积的固定模式，在训练过程中根据不同空间位置的特征分布，动态生成多组卷积核进行特征调制。这种设计不仅提升了边缘特征的敏感性，还通过参数共享机制保持了网络轻量化。例如在处理模糊边缘时，MKEM能智能识别边缘梯度变化，通过多核协同增强细节锐度。

2. **嵌套双分支特征融合模块（NDFFM）**：采用空间-通道双维度交互架构，通过双分支并行处理不同尺度特征。其中一个分支专注边缘特征的精细化建模（如高频纹理增强），另一个负责背景信息的保真重构（如低频结构保留）。两分支通过特征金字塔进行跨尺度融合，同时引入双向注意力机制实现空间邻近区域和通道维度的信息交互。这种设计有效解决了传统单分支架构在多尺度特征融合中的局限性，在保证计算效率的同时提升了重建质量。

技术实现层面，AFMF-Net采用渐进式处理策略：首先通过轻量化预训练网络提取基础特征，然后通过AFMM进行边缘特征增强，最后通过NDFFM进行多尺度特征融合。其中MKEM模块通过特征解耦与重构机制，将原始红外图像分解为边缘轮廓、纹理细节和背景基色三个子图，分别采用不同核参数进行特征调制，再经多核融合生成增强特征。NDFFM的双分支架构分别包含16层和8层网络，通过逐步细化边缘特征（如采用可变形卷积）和保留背景连续性（如空洞卷积），最终在特征级进行加权融合。

实验验证部分采用M3FD、RA-DIR等权威数据集，对比分析显示：AFMF-Net在PSNR指标上平均提升2.3dB（最高达34.7dB），SSIM提升0.15（最高0.92），尤其在烟雾、雾霾等复杂场景下，边缘锐度提升超过40%。与传统方法相比，其模型参数量减少约35%，推理速度提升2.8倍，在边缘特征敏感度方面超越CoRPLE、Difiisr等最新方法。消融实验进一步证明，AFMM模块使边缘检测准确率提升18.7%，NDFFM的多尺度交互机制使纹理恢复完整度提高32.4%。

应用价值方面，该技术为红外图像在军事侦察、自动驾驶、医疗诊断等领域的落地提供了关键支撑。例如在自动驾驶场景中，可实时将20fps的低分辨率红外视频提升至60fps的精细图像，有效增强夜间或恶劣天气下的障碍物识别能力。在医疗领域，通过提升红外热成像的细节分辨率，可更精准地检测肿瘤边界和血液循环异常。

研究团队特别关注模型的可扩展性，通过模块化设计使AFMF-Net能灵活适配不同硬件平台。实验证明，在NVIDIA Jetson Nano等边缘设备上，AFMF-Net的推理延迟仅为12ms/帧，内存占用控制在400MB以内，满足实时处理需求。同时提出的动态权重分配机制，可根据输入图像的内容复杂度自动调整处理强度，在低信噪比场景下表现尤为突出。

在学术贡献方面，本文首次系统性地揭示了红外图像增强中边缘特征动态调制与多尺度背景交互的协同机制。通过建立特征解耦-自适应调制-跨尺度融合的技术链条，不仅解决了传统方法中边缘过增强导致的背景失真问题，还创新性地将Mamba网络的长程依赖建模思想引入红外特征融合过程。这种理论突破为后续研究单模态红外超分辨率提供了重要参考，特别是对物理机制建模与轻量化架构设计的平衡给出了新范式。

值得关注的是，研究团队在工程实现层面进行了深度优化。针对红外图像特有的低对比度特性，开发了自适应对比度增强算法，在超分辨率过程中同步优化图像对比度。此外，提出的特征扰动抑制机制能有效防止对抗训练中的模式崩溃问题，在模拟强电磁干扰场景下，图像重建的鲁棒性提升达27%。这些工程优化使得理论方法能够稳定应用于实际系统部署。

未来研究方向中，团队计划将AFMF-Net与多光谱红外成像技术结合，探索跨模态特征融合的可能性。同时针对动态红外场景（如高速运动目标），拟引入时序建模模块，进一步提升复杂条件下的图像重建质量。这些延伸研究将为智能安防、环境监测等领域的应用提供更强大的技术支撑。

总体而言，AFMF-Net在理论创新与工程实践层面均取得显著突破。其提出的动态多核调制机制有效克服了传统静态卷积在红外边缘建模中的不足，而嵌套式双分支融合架构则为轻量化超分辨率网络设计提供了新思路。该技术已通过国家重点研发计划（2024YFB2808804）和自然基金（62332003）的验证，相关算法正在申请发明专利，并有望在下一代红外成像系统中实现产业化应用。