编辑推荐：
在图像去雨任务中，卷积神经网络（CNN）和 Transformer 各有优劣。研究人员开展 DECTNet 相关研究，提出融合二者优势的网络。实验表明其在单图像去雨及其他任务表现出色。该研究为图像恢复领域带来新方法，具有重要意义。
在当今数字化时代，图像广泛应用于各个领域，从安防监控到摄影创作，从自动驾驶到医疗影像分析。然而，恶劣天气条件下拍摄的图像往往受到干扰，其中雨天拍摄的图像会出现雨痕，严重影响图像质量和后续的分析处理。传统的卷积神经网络（CNN）在处理图像时，虽然善于提取局部信息，但在捕捉全局上下文方面存在不足；而 Transformer 虽能有效获取全局信息，却难以保留图像的空间和结构细节。为了解决这些问题，提升图像去雨的效果，研究人员开展了相关研究。
研究人员提出了细节增强 CNN - Transformer 网络（DECTNet）。该研究成果发表在《Cognitive Robotics》上，具有重要的意义。它为单图像去雨以及其他相关图像恢复任务提供了更有效的解决方案，推动了计算机视觉领域在图像去雨方向的发展。
研究人员主要采用了以下关键技术方法：首先，利用 PyTorch 框架搭建模型，并使用 Adam 优化器进行优化；其次，在实验过程中，选用了 Rain200L、Rain200H、Rain1200 和 Rain1400 等合成数据集进行训练和测试，同时还对模型在低光图像增强数据集（LOL - v1、LOL - v2）和单图像去雪数据集（Snow100K）上进行评估；此外，通过一系列的消融实验，探究模型各组件的有效性。
下面详细介绍研究结果：
- DECTNet 架构：DECTNet 由三个阶段组成，分别是局部信息提取阶段、全局信息提取阶段和细节恢复阶段。在局部信息提取阶段，通过堆叠增强残差特征蒸馏块（ERFDB）来提取浅层信息；全局信息提取阶段则利用双注意力空间 Transformer 块（DASTB）捕获全局信息；最后，在细节恢复阶段，通过融合前两个阶段的特征并进一步处理，恢复图像的细节信息。整个网络通过保持特征图大小不变，有效避免了下采样带来的性能下降。
- 关键模块设计：ERFDB 在残差特征蒸馏结构中引入混合注意力机制和通道增强层，能够更有效地逐步提取详细信息。通过实验对比，去除混合注意力机制和通道增强层的模型性能明显下降，证明了这些改进的重要性。DASTB 则通过改进多头自注意力机制和前馈网络，利用空间注意力优化特征，并引入倒置残差块（IRB），增强了全局连接和空间信息的恢复能力。实验显示，去除 DASTB 中关键组件的模型在细节恢复上表现更差，验证了其有效性。
- 损失函数选择：研究人员对比了均方误差（MSE）损失和负结构相似性指数测量（SSIM）损失在训练过程中的效果。发现使用 MSE 损失时，训练过程容易出现问题，如学习率设置不当会导致训练发散或学习速度过慢。而负 SSIM 损失在收敛速度和评估指标上表现更优，因此被选为模型的损失函数。
- 模型性能评估：在与其他去雨方法的对比实验中，DECTNet 在四个合成数据集（Rain200L、Rain200H、Rain1200 和 Rain1400）上均取得了前两名的成绩。在视觉效果上，DECTNet 恢复的图像细节更接近真实图像，而其他方法的结果存在不同程度的伪影和模糊。在低光图像增强任务中，DECTNet 虽然是针对单图像去雨设计，但在 LOL - v1 和 LOL - v2 数据集上也表现出色，且参数数量较少。在单图像去雪任务中，DECTNet 在 Snow100K 数据集上同样展现出了可比的性能。
研究结论和讨论部分强调了 DECTNet 的重要意义。该网络成功融合了 CNN 和 Transformer 的优势，有效解决了单图像去雨任务中局部和全局信息提取的难题，同时在多个相关图像恢复任务中表现优异。其独特设计的 ERFDB 和 DASTB 模块，不仅提高了模型的性能，还为后续研究提供了新的思路。此外，研究中对损失函数的选择和分析，以及对模型各组件的深入探究，为其他类似的图像恢复研究提供了宝贵的经验和参考。未来，该研究成果有望在更多领域得到应用和拓展，进一步推动计算机视觉领域的发展。
