编辑推荐:
为解决组织病理图像染色差异问题,研究人员开展 DSTGAN 染色归一化研究,提升图像质量与分析准确性。
在医学领域,组织病理图像是医生了解疾病在细胞层面影响的关键 “密码”。通过染色技术,细胞和组织的特征在显微镜下被清晰凸显,就像给细胞穿上了 “彩色外衣”,帮助病理学家识别病变。然而,这件 “彩色外衣” 却存在瑕疵。同一批样本数据的染色图像常常出现颜色不一致的情况,这就好比不同画家给同一物体上色,却有着不同的色调和风格。
对于基于机器学习算法的数字图像分析而言,这种染色差异带来了巨大挑战。想象一下,计算机在分析这些颜色各异的图像时,就像在解读一本充满错别字和歧义的书籍,很容易 “误解” 图像传达的信息,从而影响疾病诊断的准确性。因此,如何让这些图像的染色变得统一,成为了科研人员亟待解决的问题。
为了攻克这一难题,河南科技大学医学技术与工程学院以及河南数字病理与人工智能诊断工程研究中心等机构的研究人员展开了深入研究。他们提出了一种名为深度监督两阶段生成对抗网络(DSTGAN)的创新方法,相关研究成果发表在《Scientific Reports》上。
研究人员在开展此项研究时,运用了多种关键技术方法。他们构建的模型包含一个基于 Swin Transformer 的生成器和两个判别器,分别为颜色判别器和纹理判别器 。在训练过程中,针对目标域图像采用监督学习,利用源域图像设计了两阶段染色(TS)策略,还引入深度监督(DS)概念,从多尺度聚合特征图中学习层次化表示。同时,研究使用了多个公开的数据集,如肿瘤增殖评估挑战(TUPAC-2016)数据集、有丝分裂和异型性 14(MITOS-ATYPIA-14)挑战数据集等。
下面来看看具体的研究结果:
- 染色归一化图像质量评估:研究人员分别在多个数据集上训练染色归一化模型,采用结构相似性指数(SSIM)、皮尔逊相关系数(PCC)和峰值信噪比(PSNR)等指标评估图像质量,并进行了跨域实验。结果显示,DSTGAN 在所有数据集上的 SSIM 和 PCC 指标均达到最优,PSNR 指标也具有显著优势。这表明该模型在保留图像纹理信息、维持图像统计分布一致性和降低噪声方面表现出色。
- 对下游任务的影响:在分类性能评估中,利用在 MITOS-ATYPIA-14 数据集上训练的模型对 ICIAR-BACH-2018 数据集图像进行染色归一化,再用 ResNet50 进行分类。结果表明,DSTGAN 处理后分类性能提升显著,在准确率、精确率和 F1 分数等指标上均取得最佳成绩。在分割性能评估方面,对 MICCAI-16-GlaS 数据集图像进行染色归一化后用 U-Net 网络分割,DSTGAN 同样展现出优势,在骰子相似系数(Dice)、交并比(IOU)和像素准确率(PA)上表现最优。
- 消融研究:研究人员分析了 DSTGAN 中不同损失函数和策略的有效性。定量分析显示,SSIM 损失、内容损失对提升图像质量有重要作用,DS 和 TS 策略进一步增强了模型性能。定性分析表明,逐步添加不同组件可改善图像质量,DS 和 TS 策略使染色后图像更均匀,颜色和结构更丰富。
研究结论和讨论部分指出,DSTGAN 有效利用源域和目标域图像,生成高质量染色归一化图像。该模型构建的基于 Swin Transformer 的生成器能捕捉长距离依赖关系,多种损失函数的运用丰富了图像纹理信息,DS 策略提升了模型学习能力,TS 策略让模型能半监督学习未标记图像的颜色映射关系。不过,该模型也存在一些局限性,如计算资源需求大、训练时间长、训练不稳定等。
尽管存在不足,但 DSTGAN 在组织病理图像染色归一化方面取得的成果意义重大。它为后续的疾病诊断和研究提供了更准确、高质量的图像基础,有助于提升医学领域对疾病的认知和诊断水平,推动计算病理学的发展。未来,研究人员计划通过引入修剪和量化等技术优化模型,使其更适用于临床应用,这无疑为医学图像分析领域带来了新的希望和发展方向。