基于多任务光流估计的Transformer突发图像去噪方法(BDFormer)及其空间-通道协同增强机制研究

针对智能手机拍摄中因帧间错位和噪声导致的图像降质问题，浙江大学团队提出新型Burst Denoising Transformer（BDFormer）。该研究通过Transformer多任务光流估计模块(TMOFE)实现噪声鲁棒性对齐，结合空间-通道Transformer块(SCTB)进行特征增强，在PSNR指标上较现有方法提升0.74-1.14dB，计算效率提高30%，为移动端高质量图像处理提供新范式。

　　

在智能手机普及的今天，随手拍摄已成为日常，但小尺寸传感器、复杂光照条件等因素常导致图像噪声严重。传统单帧去噪方法因信息有限难以取得理想效果，而多帧合成的突发图像去噪(burst denoising)技术虽能利用时序冗余信息，却面临帧间错位这一关键瓶颈——微小的相机抖动或场景运动会导致信息融合时的重影和模糊。现有方法中，基于核预测的方法受限于局部感受野，而显式对齐方法依赖预训练光流网络对噪声敏感。近期Transformer虽被引入该领域，但存在空间信息利用不足、计算复杂度高等问题。

为系统解决这些挑战，浙江大学的研究团队在《Neural Networks》发表研究，提出创新性的Burst Denoising Transformer（BDFormer）。该工作通过两个核心突破：1）集成去噪任务的Transformer光流估计模块(TMOFE)实现噪声鲁棒性对齐；2）融合FFT空间变换与通道注意力的SCTB模块，在保持计算效率的同时，PSNR指标显著超越现有最优方法。

关键技术包括：1）多任务光流估计框架(TMOFE)采用共享编码器与双解码器结构，训练阶段通过辅助去噪任务提升噪声适应性；2）特征增强模块(TFE)设计空间-通道Transformer块(SCTB)，结合快速傅里叶变换(FSTB)与通道注意力(CTB)；3）全帧通道拼接策略避免多帧分离计算。实验使用灰度/彩色突发数据集验证，对比Burstormer等基线模型。

【Transformer多任务光流估计模块】
通过引入通道注意力机制简化传统空间自注意力设计，TMOFE在噪声条件下生成更准确的光流场。消融实验显示，辅助去噪分支使光流估计PSNR提升2.3dB，且推理时可移除该分支不增加计算负担。

【空间-通道特征增强机制】
SCTB模块中，FSTB通过频域注意力捕获长程空间依赖，CTB则强化跨帧通道交互。这种协同设计使算法在512×512分辨率图像处理时，FLOPs降低至Burstormer的70%。

【跨数据集性能验证】
在SIDD和DND基准测试中，BDFormer灰度图像去噪平均PSNR达39.21dB，较Burstormer提升1.14dB；运行时间缩短至0.38秒/帧，验证其在精度与效率间的优越平衡。

该研究的重要意义在于：首次将多任务学习引入Transformer光流估计，突破噪声条件下对齐精度的瓶颈；创新的SCTB模块通过FFT实现高效全局建模，为多模态特征融合提供新思路。国家重点研发计划等项目的资助成果，不仅推动移动端图像处理技术的发展，其"训练-推理解耦"设计更为边缘设备部署提供实用方案。作者Sicheng Pan在讨论中指出，未来可探索动态帧数选择机制以进一步优化实时性能。