编辑推荐：
肺癌筛查（LCS）需要有效和高效地挖掘大型、多模态数据集。在这里，作者从3D低剂量计算机断层扫描和医学多模态数据中为LCS开发了一个医学多模态-多任务基础模型（M3FM），优于最先进的方法，并允许识别信息数据元素。
医学多模态多任务基础模型助力肺癌筛查研究解读
美国伦斯勒理工学院生物医学工程系等多单位的研究人员，在《Nature Communications》期刊上发表了题为 “Medical multimodal multitask foundation model for lung cancer screening” 的论文。该研究提出的医学多模态多任务基础模型（M3FM），为肺癌筛查领域带来了新的突破，对提升肺癌筛查效率、降低肺癌死亡率具有重要意义，有望推动人工智能在医学领域的深度应用，改变现有医疗模式。
一、研究背景
肺癌是癌症相关死亡的主要原因，低剂量计算机断层扫描（LDCT）肺癌筛查可显著降低肺癌死亡率，如在国家肺癌筛查试验（NLST）中相较于二维胸部 X 光检查，死亡率降低 20% ，在 NELSON 试验中相较于不筛查，死亡率降低 24%。然而，肺癌筛查面临诸多挑战，包括筛查率低（<10%）、假阳性率高、患者管理不足导致工作流程欠佳、多模态数据利用不充分，以及全球范围内提供肺癌筛查的放射科医生短缺等问题。
人工智能在肺癌筛查中具有巨大潜力，深度学习方法在相关任务上取得了一定成果，如肺癌检测、风险估计以及心血管疾病风险预测等。但现有与肺癌筛查相关的人工智能模型存在局限性，多基于相对较小的单模态数据集开发，用于单个任务，在多任务工作流程中的性能和实用性受限，且部分肺癌风险模型训练需昂贵的边界框注释，难以构建大规模训练数据集。
在人工智能领域，基础模型展现出强大的能力，可统一理解多种数据类型并执行多项任务，在自然语言处理、计算机视觉等领域取得了显著成果。受此启发，医学领域也在积极开发医学基础模型，但现有模型无法有效处理与肺癌筛查相关的多模态临床数据，特别是三维 LDCT 扫描数据，主要面临数据整理和模型架构方面的挑战。
二、研究材料与方法
（一）多模态多任务数据集构建
研究人员定义了 17 项与肺癌筛查相关的任务，涵盖肺结节检测与表征、心血管疾病诊断、肺癌风险预测等。从多个数据源收集数据，包括 NLST、MIDRC、WFUSM 和 MGH，整合了 49 种不同的临床数据类型，构建了训练集、验证集和测试集。其中，NLST 数据来自 33 个医疗机构，包含 26,722 名参与者的多方面信息；MIDRC 提供了 2011 - 2021 年 7609 名患者的 35,730 个胸部 CT 系列数据。此外，还收集了来自 WFUSM 和 MGH 的独立评估数据集，以及用于测试模型适应性的非小细胞肺癌免疫治疗预后的分布外多模态数据集。
（二）M3FM 模型
M3FM 模型由 CT Vision Transformer（CTViT）、文本 Transformer、任务编码器和预测器四个主要组件构成。CTViT 用于提取多尺度 3D CT 体积的嵌入特征，通过多尺度 CT 标记器和图像编码器实现，可灵活处理不同大小的图像，同时对物理尺寸进行编码，以感知不同大小的 CT 体积。文本 Transformer 将临床信息和任务指令编码为文本嵌入，采用字节级字节对编码（BBPE）标记器和 Transformer 层实现。任务编码器从多模态标记嵌入中提取特定任务的嵌入特征，基于特殊的<TASK>标记实现。预测器将任务特定的嵌入特征映射为答案，不同任务可选择不同的预测器或共享预测器。
（三）训练与学习策略
采用自监督预训练方法，对 CTViT 使用掩码自动编码器方法在 OpenM3Chest 预训练数据集上进行预训练，文本 Transformer 则使用现成的 RoBERTa 模型初始化并进行端到端训练。通过优化多任务损失函数，M3FM 可使用不同任务的多模态数据集进行训练。为降低计算成本，设计了分布式任务并行（DTP）训练策略，每个计算设备处理单个任务和数据加载器，同时累积所有任务的梯度以优化参数。此外，M3FM 可通过迁移学习处理分布外任务，只需调整线性嵌入层、描述临床数据和添加轻量级预测器即可。
三、研究结果
（一）多模态多任务数据集
构建了涵盖 17 个任务、49 种临床数据类型的多模态多任务数据集，包括来自不同数据中心和机构的大量胸部 CT 系列数据。从 NLST 纳入 125,090 个有效胸部 CT 扫描，从 MIDRC 纳入 35,730 个胸部 CT 系列。这些数据集为后续模型训练和评估提供了丰富的数据支持。
（二）M3FM 性能
在 OpenM3Chest 数据集上，M3FM 在所有任务上均优于先前的 SOTA 模型和强大的通用人工智能模型 GPT-4o。在肺癌风险预测方面，M3FM 在 1 - 6 年风险预测的 AUC 值优于 Sybil * 和原始 Sybil 模型；在心血管疾病诊断和死亡率预测上，M3FM 在 OpenM3Chest 数据集和原数据集上的 AUC 值均超过先前模型，平均提升了 14.22%。对于其他任务，如结节检测、肺气肿检测等，M3FM 也在不同程度上提高了结果。同时，研究发现模型规模越大性能越好，多模态信息有助于提升多个任务的预测结果，多任务学习对数据不平衡的任务更有益。
（三）M3FM 识别临床信息元素
通过观察不同输入组合对模型结果的影响，发现 M3FM 使用所有多模态输入相对于仅使用 LDCT，在心血管疾病诊断和死亡率预测的 AUC 值上提高了 3% - 4%；疾病史等临床数据能提升心血管疾病相关预测的 AUC 值，LDCT 的物理尺寸信息对多个任务的 AUC 值也有提升。通过可视化注意力图，发现心血管疾病诊断时，冠状动脉钙化区域和相关疾病史文本标记高度相关；肺癌风险预测时，肺结节和相关人口统计学、家族肺癌病史文本标记更相关。
（四）M3FM 提高泛化能力
在独立收集的 MGH 和 WFUSM 多模态数据集上，M3FM 在心血管疾病诊断、肺癌风险预测等多个任务上，相对于先前模型和单模态单任务模型，显著提高了 AUC 值。在全剂量 CT 扫描评估中，M3FM 在部分任务上表现相似，但在心血管疾病诊断上性能有所下降，但仍优于竞争模型。
（五）M3FM 增强分布外多模态分析
将 M3FM 微调用于预测免疫治疗诱导的肺炎，在五折交叉验证中，其最佳结果的 AUC 值达到 0.941 ± 0.026，相较于参考模型提升了 4.7%，表明 M3FM 能有效处理分布外多模态建模任务。
四、研究结论与讨论
（一）研究结论
M3FM 作为肺癌筛查的多模态多任务基础模型，能够有效编码多模态医学数据，包括多尺度 3D 断层图像和其他临床数据，并通过自由文本提示灵活执行多个任务。其 CTViT 组件可灵活处理不同大小的 3D CT 图像，分布式任务并行训练策略使模型可扩展到多个任务。整个 M3FM 开发工作流程针对临床挑战场景设计，从任务定义到数据整理、模型训练和多任务协同，具有可扩展性。
实验结果表明，M3FM 在多模态多任务设置下，显著优于先前基于单任务和 / 或单模态开发的模型，更大规模的 M3FM 在肺癌筛查任务中表现更好。多模态数据对部分任务（如心血管疾病相关任务）的性能提升有显著帮助，且不会损害其他任务的性能。多任务学习在数据不平衡的任务中表现出更好的泛化性，能缓解过拟合问题。
（二）讨论
M3FM 的贡献主要体现在两个方面。一方面，它为肺癌筛查提供了有效的多模态多任务基础模型，能够整合多种数据进行多任务处理；另一方面，其开发流程具有临床实用性和可扩展性。然而，该研究也存在一定局限性，如评估是回顾性和离线的，未测试模型在临床场景中的影响，也未优化信息显示方式。此外，模型性能提升在一定程度上受数据集规模和质量的限制，且当前模型主要局限于预测肺部和心脏的异常。
尽管如此，M3FM 在解决人工智能在医学领域的通用性、可解释性和适应性等问题上做出了初步努力。它在独立数据集上表现出更好的通用性，能够识别临床信息元素，具有一定的可解释性，还能通过迁移学习处理分布外任务，展现出良好的适应性。未来，随着数据集的进一步扩大和质量提升，以及模型的不断优化，M3FM 有望成为开发人工智能赋能、专业导向的卓越医疗解决方案的有效平台，为降低肺癌死亡率、改善医疗服务质量发挥重要作用。
