MFHS：基于互斥一致性学习的基础模型集成超图技术，用于半监督医学图像分割

《Pattern Recognition》：MFHS: Mutual Consistency Learning-Based Foundation Model Integrates Hypergraph for Semi-Supervised Medical Image Segmentation

MFHS框架通过整合预训练的SAM2视觉基础模型与超图神经网络，利用多解码器交叉一致性机制生成高质量伪标签，并引入对抗训练优化伪标签质量，有效解决半监督医学图像分割中忽视基础模型知识和高阶解剖关系建模的难题，在ACDC数据集上以5%-20%标注率显著提升Dice和HD95指标。

　　医疗影像分割是临床实践中不可或缺的一项任务，它在疾病诊断、治疗方案制定和疗效评估等方面发挥着关键作用。然而，传统的全监督深度学习方法由于依赖大量高质量的专家标注数据，往往面临高昂的标注成本和数据稀缺的问题。为了解决这些问题，半监督学习（Semi-Supervised Learning, SSL）逐渐成为研究热点，通过利用大量未标注数据来减少对专家标注的依赖。尽管SSL方法在多个领域取得了显著进展，但在医疗影像分割中仍然存在两个主要挑战：一是现有方法通常忽略了视觉基础模型（Vision Foundation Models, VFM）所蕴含的丰富且可泛化的知识；二是基于成对关系建模的方法难以准确捕捉复杂的解剖结构关系。

针对上述问题，本文提出了一种名为MFHS的新颖半监督学习框架。该框架融合了视觉基础模型与超图学习（Hypergraph Learning）技术，旨在提升在仅有少量标注数据情况下的分割性能。具体而言，MFHS采用预训练的SAM2编码器提取具有层次结构的特征，这些特征随后被超图神经网络进一步优化，以建模多个解剖结构之间的多对多高阶关系。此外，为了实现半监督训练，MFHS引入了一个多解码器架构，通过交叉一致性机制生成高质量的伪标签，并结合对抗学习模块来增强伪标签的可靠性。

在方法设计上，MFHS首先利用SAM2作为基础模型，其强大的预训练能力使其能够捕捉丰富的图像特征。随后，通过在编码器中集成适配器（adapters），实现对模型的高效微调。在解码器部分，MFHS构建了三个相同的解码分支，用于生成伪标签并进行一致性训练。这种多解码器设计有助于增强模型对未标注数据的利用能力，从而提高分割精度。同时，对抗学习机制被引入，以进一步提升伪标签的质量，确保模型在训练过程中能够更有效地学习到解剖结构的复杂关系。

在数据处理方面，MFHS的实验基于ACDC（Automated Cardiac Diagnosis Challenge）数据集，这是一个在MICCAI 2017挑战赛中使用的公开基准数据集。该数据集包含100名患者的2D心脏磁共振成像（MRI）扫描，其分割任务涉及右心室（RV）、心肌（MYO）和左心室血池（LV）三个解剖结构。实验中采用官方的数据划分方式，将70个病例用于训练，10个用于验证，20个用于测试。通过在这些数据上进行大量实验，MFHS展示了其在不同标注比例下的优越性能，尤其是在仅5%和10%标注数据的情况下，其边界分割能力表现突出，HD95得分达到最优水平。同时，在10%和20%标注比例下，MFHS的Dice得分分别为88.28%和89.21%，表明其在分割准确性和鲁棒性方面均优于其他方法。

在性能评估方面，MFHS通过多种指标衡量其分割效果，包括Dice系数、HD95（Hausdorff Distance 95th percentile）等。Dice系数用于评估分割结果与真实标签之间的重合度，而HD95则衡量两个分割结果之间的最大距离。这些指标共同构成了对分割性能的全面评估体系。实验结果显示，MFHS在所有测试标注比例下均优于其他代表性的半监督医疗影像分割方法，包括CCT（Consistency in Contextual Transformer）和SAMT-PCL（Segment Anything Model with Teacher-Student and Pseudo-Labeling Consistency）等。这些方法虽然也采用了半监督策略，但在处理高阶解剖结构关系方面存在不足，导致在分割复杂区域时表现不佳。

为了进一步验证MFHS的有效性，本文还进行了广泛的消融实验，分析了各个关键模块对最终性能的影响。实验结果表明，SAM2编码器、超图计算模块以及对抗学习机制在提升分割精度方面起到了重要作用。其中，SAM2编码器的引入使得模型能够充分利用预训练知识，而超图计算模块则有效地建模了多对多的高阶关系，避免了传统成对关系建模方法的局限性。此外，对抗学习模块的加入显著提高了伪标签的质量，使得模型在有限标注数据的情况下仍能保持较高的分割性能。

从技术角度来看，MFHS的设计体现了对当前半监督学习和视觉基础模型研究趋势的深入理解。首先，视觉基础模型如SAM2已经在多个视觉任务中展现出强大的零样本泛化能力，其预训练过程涵盖了海量的图像数据，包括各种复杂的解剖结构。这种能力使得SAM2能够为医疗影像分割任务提供丰富的特征表示，从而减少对专家标注的依赖。其次，超图学习作为一种能够建模高阶关系的图学习方法，为捕捉复杂的解剖结构关系提供了新的思路。通过构建超图，MFHS能够在特征层面建模多个解剖结构之间的相互依赖关系，从而提升分割的准确性和鲁棒性。

此外，MFHS还引入了对抗学习机制，以进一步提升模型的泛化能力。对抗学习通过引入生成对抗网络（GAN）的思想，使得模型能够更好地适应未标注数据的分布，从而提高分割结果的可靠性。这种机制在半监督学习中尤为重要，因为未标注数据的分布可能与标注数据存在差异，而对抗学习能够帮助模型在训练过程中更有效地学习到这些差异，并生成更高质量的伪标签。

在实际应用中，MFHS的提出具有重要的意义。首先，它能够有效缓解医疗影像分割任务中标注数据稀缺的问题，为临床实践提供更加高效的解决方案。其次，MFHS的高阶关系建模能力使其在处理复杂解剖结构时表现出更强的适应性，这对于心脏等具有高度结构复杂性的器官尤为重要。最后，MFHS的多解码器设计和对抗学习机制为未来的半监督学习框架提供了新的研究方向，即如何在有限标注数据的情况下，通过多模态建模和高阶关系学习提升分割性能。

综上所述，MFHS作为一种融合视觉基础模型与超图学习的半监督框架，不仅在理论层面解决了现有方法的不足，也在实际应用中展现出优越的性能。其设计思路为医疗影像分割任务提供了一种新的解决方案，有望在未来的研究和临床应用中发挥重要作用。本文的实验结果和消融分析进一步验证了MFHS的有效性，表明其在提升分割精度和鲁棒性方面具有显著优势。此外，本文的代码已开源，为后续研究者提供了可复现和进一步优化的平台。