基于多模态数据的脉络膜肿瘤诊断：概念驱动的可解释模型研究

在临床实践中，罕见病诊断面临诸多挑战，如数据稀缺、模型可解释性差等。研究人员开展了 “基于多模态数据的脉络膜肿瘤诊断的可解释模型” 研究。结果显示，MMCBM 模型在区分脉络膜黑色素瘤、血管瘤和转移癌方面表现出色，可提升诊断准确性，对医学 AI 发展意义重大。

　　在医学领域，罕见病的诊断一直是个难题。以葡萄膜黑色素瘤为例，这是一种起源于眼部葡萄膜的罕见癌症，在亚洲发病率仅为 0.6 人 / 百万。由于其早期症状不明显，且与其他眼部疾病如脉络膜血管瘤、转移癌的临床症状和影像学特征相似，在常规临床评估中极易被漏诊。同时，这些疾病的预后往往较差，早期准确诊断对治疗和患者预后至关重要。

然而，目前临床诊断面临着诸多挑战。一方面，数据稀缺，高质量的数据集难以获取，这限制了基于学习的方法在罕见病诊断中的应用。另一方面，现有模型缺乏可解释性，难以让临床医生信任，无法有效整合到临床实践中。

为了解决这些问题，来自宾夕法尼亚大学、电子科技大学、首都医科大学附属北京同仁医院等多个机构的研究人员展开了深入研究。他们构建了多模态医学概念瓶颈模型（MMCBM），旨在实现对脉络膜肿瘤的准确、可解释诊断。该研究成果发表在《Nature Communications》上，具有重要的意义。

研究人员采用了多种关键技术方法。首先，收集了北京同仁医院 2013 - 2019 年的脉络膜三模态成像（CTI）数据集，包含荧光素血管造影（FA）、吲哚菁绿血管造影（ICGA）和眼部超声（US）图像及相关放射学报告。然后，利用 GPT - 4 从报告中提取概念，并通过专家验证构建概念库。最后，使用支持向量机（SVM）将概念转化为特征嵌入，训练 MMCBM 模型。

研究结果

1. 数据集描述：构建的 CTI 数据集包含 750 名患者的影像数据，其中脉络膜黑色素瘤患者 542 例，血管瘤患者 128 例，转移癌患者 80 例。并非所有患者都有全部三种模态的图像，研究人员将具有三种模态图像的患者数据作为多模态（MM）数据，并预留 20% 作为测试集12。
2. 基线黑箱模型：构建的基线黑箱模型在不同输入图像模态下均有一定准确性，使用多模态输入时 F₁分数可达 89.2%，但该模型缺乏可解释性，无法让临床医生理解其预测过程3。
3. 可信的可解释框架：MMCBM：MMCBM 模型将专家知识融入诊断过程，通过概念构建和落地，实现了可解释的诊断。在 MM 测试集上，MMCBM 的总体分类 F₁分数达到 91.0%，与基线黑箱模型相比无统计学差异，表明其在诊断准确性上与黑箱模型相当，同时具有可解释性45。
4. MMCBM 与黑箱模型性能比较：在 MM 测试集和单模态成像输入下，MMCBM 与黑箱模型的分类性能无统计学差异。此外，MMCBM 在泛化性评估中表现更优，在不同数据集上的准确性、敏感性和 F₁分数均高于黑箱模型56。
5. MMCBM 的泛化性评估：在对 MMCBM 和黑箱模型进行泛化性评估时，使用了北京同仁医院 2020 - 2023 年的内部独立数据集和四川大学华西医院 2023 - 2024 年的外部测试集。结果显示，MMCBM 在新数据集上的表现优于黑箱模型，证明其具有良好的泛化性6。
6. 测试时随机干预与神谕：通过神谕对 MMCBM 进行测试时随机干预研究，发现适度的概念干预可提高模型性能，过多干预则会引入噪声。这表明在临床环境中，专家可通过干预模型提高诊断准确性78。
7. MMCBM 在临床工作流程中的整合：招募 8 名医生进行研究，结果显示 MMCBM 可显著提高经验不足医生的诊断准确性，F₁分数提高了 42%，而对资深医生的诊断性能影响较小9。
8. MMCBM 与黑箱模型辅助性能比较：通过人类验证实验，发现提供模型生成的概念和标签可显著提高经验不足医生的诊断性能，且 MMCBM 在缓解标签依赖和提高诊断准确性方面优于黑箱模型10。
9. MMCBM 与替代特征嵌入方法比较：与基于对比语言 - 图像预训练（CLIP）及其生物医学变体的特征嵌入方法相比，MMCBM 的基于概念激活向量（CAVs）的特征提取方法表现更优，表明专业知识策划的知识嵌入在医学应用中更有效11。
10. 图像 - 概念对齐评估：评估 MMCBM 的模型可解释性，发现其特征表示能有效分离不同类别的肿瘤，概念表示与输入图像对齐良好，且报告提取的概念与专家验证的概念在与专家注释的对齐性能上相似812。
11. 人机交互演示：开发了网站用于人机交互研究，医生可在网站上进行概念库验证和预测评估，调整概念分数，模型还可生成诊断报告，提高了 MMCBM 在临床决策中的实用性13。

研究结论与讨论

该研究成功建立了 MMCBM 这一可解释的罕见病诊断模型。通过整理 CTI 数据集，解决了训练数据稀缺的问题。MMCBM 在保持 “黑箱” 模型准确性的同时，引入了可解释性，显著提高了经验不足医生的诊断性能。与传统可解释 AI 方法不同，MMCBM 更符合临床实践，通过构建概念，使其更贴近临床医生的诊断思维。此外，该模型利用 LLMs 处理文本，避免了大量的图像特征标注工作，降低了数据稀缺对罕见病诊断模型的影响。在伦理方面，人机交互反馈机制有助于确保 AI 诊断符合伦理准则，增强了临床医生和患者对 AI 辅助医疗决策的信任。

然而，该研究也存在一定的局限性。虽然 MMCBM 在泛化性上优于黑箱模型，但要实现更广泛的泛化，可能需要多中心的协作。此外，纳入更多的肿瘤成像模态和医学报告，有助于提高基于概念的模型对其他类似肿瘤诊断的适用性。未来，探索 AI 模型与临床工作流程的深度整合，将是推动医学 AI 发展的关键。

总体而言，MMCBM 的发展为医疗领域实现可解释、可靠的诊断提供了重要的进展。在将其融入临床工作流程的过程中，充分考虑伦理和监管因素，将有助于确保这些创新能够在不影响医疗标准和患者安全的前提下，提高患者的治疗效果，为罕见病诊断领域开辟了新的道路。