用于全切片图像多实例学习的解缠伪袋增强方法

《IEEE Transactions on Medical Imaging》：Disentangled Pseudo-Bag Augmentation for Whole Slide Image Multiple Instance Learning

数字病理学图像分类中提出DPBAug增强框架，通过内slide实例分离、跨slide信息融合和伪包记忆优化三阶段，有效提升多实例学习基线模型的分类性能与泛化能力，适用于临床实践及罕见癌症研究

　　

摘要：

作为病理全切片图像（WSI）分类的主要方法，多实例学习（MIL）方法在面对有限的标注WSI时面临挑战。尽管MIL通过伪袋定向增强方法取得了显著进展，但其效果往往受到噪声伪标签和低质量伪袋的限制。为了解决这些问题，我们重新考虑了使用伪袋进行WSI数据增强，并提出了一种新的伪袋生成范式，称为DPBAug。其特点可以总结如下：i) 我们开发了一个切片内伪袋生成模块，通过表型划分来分离每个切片中的异构实例。此外，为了确保生成伪袋时标签的准确性，我们提出了一种带有替换的实例采样算法。ii) 设计了一个切片间伪袋融合模块，用于整合多个WSI中的异构信息，生成高质量的训练样本，从而更好地发挥神经网络的潜力。iii) 伪袋内存更新模块优先处理有价值的合成伪袋，进一步提升了网络的分类性能。广泛的实验表明，DPBAug超越了现有的增强方法，在各种公共数据集上提高了多个MIL基线的分类性能和可靠性。DPBAug还提高了现有MIL方法的泛化能力和数据效率，促进了它们在临床实践和罕见癌症研究中的应用。该项目可在以下链接查看：https://github.com/JiuyangDong/DPBAug。

引言

数字病理成像技术的出现将玻璃切片转换为全切片图像（WSI），通过计算机辅助病理学彻底改变了癌症诊断方式。然而，与自然图像不同，WSI通常规模庞大，每个切片包含数十亿像素，这对病理图像分析带来了巨大的计算和内存挑战。为了缓解这些限制，主流的WSI分类算法[2]、[3]主要采用多实例学习（MIL），将每个WSI视为一个“袋”，其块视为实例。然而，针对千兆像素WSI的MIL网络仅使用WSI级别的标签进行训练，限制了可用训练数据的充分利用。此外，公开数据集中可用于训练的标注WSI数量通常少于2000个，这使得在弱监督范式中难以避免过拟合。为了解决这些问题，人们探索了多种WSI数据增强策略，这些策略大致可以分为三类：图像级[12]、[13]、[14]、嵌入级[15]、[16]以及袋级[17]、[18]、[19]、[20]、[21]、[22]、[23]。图像级和嵌入级增强方法往往忽略了WSI导向MIL的关键特性。尽管WSI包含大量块，但可用于弱监督训练的“袋”的数量仍然有限。相比之下，袋级增强方法专注于生成伪袋以增加训练样本的数量，并且可以有效地与图像级或嵌入级技术结合使用。