基于提示学习的多任务图像修复框架：从灾难性遗忘视角重构一体化解决方案

针对现有图像修复方法在应对多退化类型时存在的灾难性遗忘(catastrophic forgetting)问题，中国科学技术大学团队创新性地提出双提示(dual prompt)学习框架，将退化级(degradation-level)与实例级(instance-level)提示嵌入单任务模型，使PSNR指标平均提升0.52dB，为动态处理去雨/去雾/去噪等任务提供轻量化方案。

　　

在计算机视觉领域，图像修复(Image Restoration)始终是极具挑战的课题。当自动驾驶摄像头遭遇暴雨，或医疗影像设备产生噪声时，传统方法往往需要为每种退化类型单独训练模型——这种"一对一"模式既耗费计算资源，又难以应对现实场景中复杂的混合退化问题。近年来，尽管"多合一"(all-in-one)方法通过统一网络架构取得进展，但中国科学技术大学的研究团队通过实验发现两个反常现象：单任务模型处理多任务时性能骤降0.52dB PSNR，而专门设计的all-in-one模型反而不及改进后的单任务模型。

为揭示这一现象的本质，该团队从灾难性遗忘(catastrophic forgetting)的神经科学视角展开研究。当神经网络从去雨任务切换到去雾任务时，其参数分布会从θ_t偏移至θ_t+1，导致先前学到的特征识别能力退化。受人类大脑通过"记忆提示"巩固学习成果的启发，研究人员创新性地将提示学习(prompt learning)引入图像修复领域，构建包含退化级与实例级的双提示系统。前者通过可学习的提示池(prompt pool)区分雨/雾/噪等退化类型，后者则利用冻结的CLIP图像编码器提取语义特征，二者协同引导Restormer或NAFNet等骨干网络实现参数分布从θ_t到θ'_t+1的智能切换。

关键技术包括：1) 基于300k次迭代训练的Restormer网络；2) 融合余弦退火(cosine annealing)的Adam优化器；3) 轻量化设计的0.88M参数提示模块。在去雨任务Rain100L数据集上，该方法PSNR达到32.17dB，较传统单任务模式提升1.3dB；在混合退化测试中，其泛化能力超越PromptIR等专用模型。

研究结果方面：
• 退化类型识别：通过键值查询机制(key-value query)实现的退化级提示，准确率较传统分类器提升18.6%
• 语义保持能力：实例级提示使结构相似性(SSIM)指标平均提高0.04
• 计算效率：相比多编码器方案，参数量减少67%

这项发表于《Pattern Recognition Letters》的研究，首次将灾难性遗忘理论应用于图像修复领域。Chen Wu等作者指出，该方法突破性地证明：通过智能提示机制，单任务模型可释放出处理多退化类型的潜力。这不仅为构建轻量化通用修复系统提供新思路，其揭示的"参数分布偏移"规律，更为多任务学习研究开辟了神经可塑性(neuroplasticity)研究的新维度。未来工作将聚焦于开发无参数提示方案，进一步降低计算开销。