基于小波自注意力机制的RAW-to-sRGB转换模型ISPFormer：突破局部限制的高保真图像重建

本文提出创新性Transformer框架ISPFormer，通过小波变换自注意力块（WTB）实现RAW图像到sRGB的高质量转换。该模型突破传统CNN的局部性限制，采用多尺度窗口调整策略和双损失函数（灰度一致性损失与高频细节增强损失），在保留高频细节和色彩准确性方面显著优于现有方法（如LiteISPNet和FourierISP），为移动端图像处理提供新范式。

　　

Highlight亮点

我们提出具有以下创新点的ISPFormer框架：

• 首创小波变换自注意力块（WTB），将小波变换与自注意力机制结合，以更低计算成本实现长程建模

• 采用动态多尺度窗口调整策略替代固定窗口，通过粗到细的重建方式提升细节恢复能力

• 设计灰度一致性损失（grayscale-consistency loss）和小波高频增强损失（wavelet high-frequency enrichment loss），显著改善色彩保真度与纹理细节

Traditional Image ISP Pipeline传统图像ISP流程

传统ISP流程包含去噪（denoising）、去马赛克（demosaicing）、白平衡（white balancing）、色彩校正（color correction）、伽马校正（gamma correction）等独立模块，需复杂人工调参。这些模块分别处理RAW图像的不同缺陷，但难以协调全局与局部优化目标。

Overview框架概述

如图2所示，ISPFormer采用U型编解码架构处理RAW输入图像I_raw。核心创新在于：

1. WTB模块通过小波域分频处理，在LL/LH/HL/HH子带分别计算自注意力

2. 并行通道注意力分支（CAB）增强全局特征建模

3. 三阶段网络采用递减窗口尺寸（32×32→16×16→8×8），实现从全局色彩映射到局部细节修复的渐进优化

Experimental Settings实验设置

• 硬件：8×NVIDIA RTX 2080Ti GPU，batch size=8

• 优化器：Adam初始学习率2×10^-4，余弦衰减至1×10^-6

• 关键参数：λ₁=1.0, λ₂=0.1, λ₃=0.5, λ₄=0.01

Conclusion结论

ISPFormer通过小波域自注意力机制突破传统Transformer的计算瓶颈，在RAW-to-sRGB转换任务中实现：

• 83%的参数效率提升

• PSNR指标提升2.1dB

• 视觉细节恢复度提高37%

该框架为移动端图像质量优化提供了新的研究方向。