通过风格映射和通用原型对比提升遥感图像分割中的领域泛化能力

《INTERNATIONAL JOURNAL OF COMPUTER VISION》：Boosting Domain Generalization in Remote Sensing Image Segmentation via Style Mapping and General Prototypical Contrast

语义分割模型在跨域应用中存在性能显著下降的问题，本文提出通过大语言模型（如CLIP）引导的对比学习机制提升高层语义特征的泛化能力，并设计轻量级风格映射器将低层特征的领域相关统计知识迁移到目标域，有效利用风格先验知识改善模型对未知域的适应性能，实验验证了该方法在遥感图像分割数据集上的有效性。

　　

摘要

语义分割模型在应用于数据分布不同的领域时，尤其是在未见过的领域中，往往会面临性能显著下降的问题。这一问题凸显了提高模型泛化能力的关键挑战。我们通过增强高级语义特征的泛化能力，并利用源领域中的先验知识（即与风格相关的统计信息）嵌入到低级特征中，来解决这一关键问题。在领域泛化的背景下，模型应能够将通用的语义概念聚合到高级语义特征中。为此，我们首次将一种基于大型视觉语言模型的原型对比学习机制引入到语义分割的领域泛化任务中。所提出的学习机制有效地利用了先进视觉语言模型（如CLIP）中编码的通用世界知识，来指导与语义分割密切相关的泛化视觉表示的学习。从低级特征中获得的与风格相关的统计信息能够捕捉特定领域的知识。现有方法往往忽视这些与风格相关的知识以获得领域不变的表示，从而导致在未见过的领域中泛化性能不佳。相比之下，我们提出了一种轻量级的风格映射器，它使用统计推导出的风格原型将源领域中学到的与风格相关的先验知识转移到目标领域。通过这种方式，特定领域的与风格相关的知识得到了有效利用，从而显著提高了模型在未见过的目标领域的泛化能力。我们通过在多个公开可用的遥感图像语义分割数据集上进行的实验验证了该方法的有效性。实验结果表明，我们提出的方法在模型对未见过的领域的泛化能力方面取得了显著提升。