USTNet：基于通道加速与区域语义一致性的红外-可见光图像超快速风格迁移框架

本文推荐一种轻量级实时框架USTNet，通过通道加速(CA)、快速迁移模块(FTM)和细节连接模块(DCM)实现可见光(VIS)与红外(IR)图像的高效风格迁移。创新性引入改进的dWCT变换和Matting Laplacian约束，在保持2倍加速优势的同时，显著提升跨模态图像配准与融合质量，为低光检测([6-10])和夜间视觉([1-5])等应用提供新解决方案。

　　

Highlight

USTNet通过精心设计的轻量化架构实现突破：通道加速(CA)模块采用零填充操作将输入通道从3快速扩展至32，避免传统卷积计算；快速迁移模块(FTM)结合深度可分离卷积，在四层编码器中高效提取跨模态特征；细节连接模块(DCM)通过缓冲机制保留多尺度细节。改进的dWCT模块通过优化协方差分解算法，将传统WCT(^[24])的运算效率提升40%，同时结合Matting Laplacian损失和全变分(TV)损失，确保局部风格一致性与边缘平滑度。

III. Method

如图2所示，USTNet框架首先对可见光(内容)和红外(风格)图像进行并行处理。CA模块通过"通道爆破"策略实现维度跃迁，随后FTM模块采用1×1点卷积与3×3深度卷积的级联结构，在降低75%参数量的前提下完成语义嵌入。DCM模块通过跨层跳跃连接保留高频细节，其设计的残差注意力机制能有效抑制多尺度伪影(^[20,21])。

A. Implementation Details

在RGB-NIR数据集(^[66])测试中，使用Nikon D90相机采集的750nm截止波长图像对验证方法泛化性。训练阶段采用自适应矩估计(Adam)优化器，初始学习率设为3×10^-4，配合余弦退火策略稳定收敛。

V. Conclusion

本工作提出的USTNet框架在近红外与远红外数据集上均展现出显著优势：推理速度达58FPS，较AdaIN(^[25])提升2.3倍；SSIM指标提高12.7%，为跑道检测(^[39])等实时跨模态视觉任务提供可靠解决方案。未来将探索动态通道剪枝策略进一步优化计算效率。