《分组多尺度视觉 Transformer:突破医学图像分割困境的新利器》

【字体: 时间:2025年04月02日 来源:Scientific Reports 3.8

编辑推荐:

  在医学图像分割领域,早期基于卷积神经网络(CNNs)的方法因感受野有限,难以捕捉长程依赖;现有基于视觉 Transformer(ViTs)的模型在单注意力层处理多尺度变化能力不足。研究人员开展了分组多尺度注意力(GMSA)和跨尺度注意力(ISA)机制的研究,实验结果表明该模型在多个数据集上取得优异成绩,为医学图像分割提供了新方案。

  在医学影像的世界里,精准的图像分割就如同为医生们配备了一双 “透视眼”,能帮助他们更准确地诊断疾病、规划治疗方案。然而,早期的卷积神经网络(CNNs)虽然在医学图像分割领域取得了一定成果,但它的 “视野” 有限,就像戴着一副近视眼镜,难以捕捉图像中远距离区域之间的关系,对于复杂的解剖结构,分割效果并不理想。而近年来新兴的视觉 Transformer(ViTs),虽凭借自注意力机制展现出了强大的能力,但在处理多尺度变化时,却像是一个 “跛脚鸭”,在单注意力层中难以有效捕捉不同尺度的特征,限制了其对复杂医学图像的建模能力。
为了攻克这些难题,南京理工大学的研究人员展开了深入研究。他们提出了分组多尺度注意力(Grouped Multi-Scale Attention,GMSA)机制,就像是给模型赋予了多个不同倍数的 “放大镜”,可以同时从不同尺度观察图像特征。同时,还引入了跨尺度注意力(Inter-Scale Attention,ISA)机制,让不同尺度的特征能够相互交流、融合,进一步提升分割性能。经过在 Synapse、ACDC 和 ISIC2018 等多个数据集上的大量实验,他们的模型取得了最先进的结果,这意味着在医学图像分割领域,他们找到了一种更有效的方法。该研究成果发表在《Scientific Reports》上,为医学图像分割的发展注入了新的活力。

研究人员在此次研究中运用了多种关键技术方法。在模型构建方面,设计了基于卷积的局部感知单元(Local Perception Unit,LPU),用于补充局部信息,增强模型对局部关系和结构信息的捕捉能力。还构建了多尺度提取和聚合单元(Multi-Scale Extraction and Aggregation Unit,MSEAU),由 GMSA、前馈网络(Feed-Forward Network,FFN)以及 ISA 组成。在训练过程中,采用交叉熵(CE)损失和 Dice 损失相结合的方式,同时运用多尺度训练策略,以提高模型的性能。

实验数据集与设置


研究人员选用了三个公开数据集进行实验。Synapse 数据集包含 30 例腹部 CT 扫描(3779 个轴向切片),涵盖多个器官,研究人员按前人方法,用 18 例扫描(2212 个切片)训练,12 例(1567 个切片)验证。ACDC 数据集有 100 例心脏 MRI 扫描,分割目标为右心室(RV)、左心室(LV)和心肌(Myo),同样参照前人设置,70 例(1930 个切片)用于训练,10 例验证,20 例测试。ISIC2018 数据集包含 2694 张皮肤镜图像及分割掩码,研究人员采用 EGE-UNet 的设置,1886 张图像训练,808 张测试,以确保公平比较。实验中,不同数据集采用不同优化方法,如 ACDC 数据集用 Adam 优化器,学习率 0.0001,权重衰减 0.0001;Synapse 数据集用随机梯度下降(SGD),基础学习率 0.05,动量 0.9,权重衰减 0.0001 等。

实验结果


在 Synapse 数据集上,研究人员的模型在 Dice 系数和 HD95 指标上表现出色,分别达到 84.00 和 12.30,超越多数对比模型。这表明模型在整体分割精度上有显著提升,能更好地捕捉器官的整体形状和结构,同时在精确描绘器官边界方面也有很大进步。在大器官和小器官分割任务中均表现良好,但在部分器官如胃和胰腺的分割上,仍存在改进空间。

ACDC 数据集实验结果显示,模型的 Dice 系数达到 91.92,超过所有对比方法。在左心室和心肌的分割任务中表现优异,但在右心室分割上,虽 Dice 系数排名第二,但与最先进模型仍有差距,主要原因是右心室边界模糊,以及部分模型在小结构分割上更具优势。

在 ISIC2018 数据集上,模型在平均交并比(mIoU)、Dice 系数和准确率(Acc)等指标上取得进步,分别达到 0.8146、0.8978 和 0.9498,但在特异性(Spe)和敏感性(Sen)方面,部分方法表现更优。

通过对模型各组件进行消融实验发现,多尺度注意力、ISA 模块、LPU、CPB 模块和 Inception 模块对模型性能均有重要影响。去除这些组件会导致模型性能下降,证明了它们在模型中的关键作用。同时,不同的尺度选择配置也会影响模型性能,多尺度分组策略能显著提升分割效果,而过大或过小的缩放因子都可能降低模型性能。

研究结论与讨论


研究人员提出的 GMSA 和 ISA 机制,为医学图像分割带来了新的突破,有效提升了模型在复杂医学图像分割任务中的性能。但该方法也存在一些局限性,如计算成本较高,在处理低对比度区域边界时不够准确。未来研究可以从设计更高效的解码器机制、采用模型剪枝策略以及引入先进的特征学习策略等方面入手,进一步优化模型性能和泛化能力。

这项研究成果对于推动医学图像分割技术的发展具有重要意义,它为后续研究提供了新的思路和方法,有望在临床诊断和病理研究中发挥更大的作用,帮助医生更准确地识别病变、制定治疗方案,为患者的健康带来更多的保障。
相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号