通过全局和局部提示增强医学图像分割中的领域泛化能力

《IEEE Transactions on Neural Networks and Learning Systems》：Enhancing Domain Generalization in Medical Image Segmentation With Global and Local Prompts

提升医学图像分割领域泛化能力的研究，提出全局与局部提示框架解决领域差异，开发个体化适配器并设计解剖学不变性正则化项，在五组数据集验证中效果优于传统方法。

　　

摘要：

在医学图像分割领域，提升领域泛化能力（Domain Generalization, DG）是一项至关重要且具有吸引力的研究课题，因为医学图像本身存在显著的异质性。最近，大规模预训练视觉模型（如Vision Transformer, ViT）的成功应用激发了我们探索这些模型在该领域的潜力。虽然一种直接的方法是通过使用来自源领域的监督信号对预训练模型进行微调，但这种方法忽略了领域差异问题，也没有充分利用数据实例中蕴含的丰富知识。为了解决这些局限性，我们提出了一个结合全局和局部提示（Global and Local Prompts, GLPs）的新框架。具体而言，为了使预训练模型适应医学图像分割任务，我们明确区分了领域共享知识和领域特定知识，并将其以GLPs的形式表达出来。此外，我们还开发了一个个性化的领域适配器，以深入研究每个目标领域样本与源领域之间的关系。为了利用数据实例中的内在知识，我们从一致性和解剖结构两个角度设计了两种创新的正则化机制，促使模型保持样本的可区分性和器官位置的不变性。在五个不同的医学数据集上进行的广泛实验和深入分析均表明，GLP能够显著提升分割性能。我们的代码和数据集已公开发布在https://github.com/xmed-lab/GLP。

引言

鉴于来自不同医疗设备或医院的医学图像之间存在显著差异[2]、[3]、[4]，领域泛化在医学图像分割中起着关键作用。例如，眼底照片会因使用设备的不同而表现出显著差异，这凸显了开发一个具有领域泛化能力的血管分割模型的必要性，如图1(a)和(c)所示。传统的领域泛化（Vanilla DG）旨在利用多个完全标注的源领域来训练模型，从而实现对未见目标领域的鲁棒泛化[2]、[5]、[6]。最近，提出了一种更具挑战性的方法——半监督领域泛化（Semi-supervised DG），该方法在训练过程中利用了部分标注的数据[7]、[8]。当源领域的标注比例为100%时，传统领域泛化就是半监督领域泛化的特例。图1(e)和(f)展示了这两种情况的示例，我们的目标是开发一个能够同时处理这两种情况的统一框架。图1.

(a) 和 (c) 表示视网膜血管图像的领域差异。(b) 和 (d) 对应的掩膜。CHASEDB1（CHASE）和DRIVE分别使用手持式Nidek NM-200-D眼底相机和Canon CR5非散瞳3CCD相机拍摄，代表不同的领域[1]。(e) 传统领域泛化。(f) 半监督领域泛化。(g) 统一和个性化的迁移策略，后者的区别在于它探索了每个样本与源领域之间的关系。线条代表知识迁移。