大语言模型与临床决策支持系统在 CT 转诊评估中的较量:欧洲大型队列研究的新启示

【字体: 时间:2025年04月28日 来源:European Radiology 4.7

编辑推荐:

  在医疗领域,确保 CT 扫描合理使用至关重要。研究人员开展了 “Comparison of CT referral justification using clinical decision support and large language models in a large European cohort” 研究。结果显示独立专家在评估中表现最佳,但 LLMs 在器官预测方面有潜力。这为优化 CT 转诊提供了新方向。

  在现代医疗体系中,CT 扫描作为一项重要的诊断手段,却也带来了诸多问题。一方面,CT 检查产生的辐射在医疗辐射源中占比最大,过度或不恰当的使用会让患者承受不必要的辐射风险,危害身体健康。另一方面,回顾性研究发现,依据临床指南评估转诊情况时,CT 不恰当使用率在 10% - 39% 之间。而且,随着技术进步、人口增长以及检查适应症的扩大,CT 的整体使用量迅速上升,如何优化每一次 CT 检查的合理性变得刻不容缓,这既关乎患者安全,又影响着医疗资源的合理分配。
在这样的背景下,大语言模型(LLMs)凭借其强大的数据分析能力,逐渐在医疗领域崭露头角,有望辅助医生进行更精准的诊断决策,减少不必要的检查,提高医疗效率。与此同时,临床决策支持工具,如欧洲放射学会的 iGuide(ESR iGuide)临床决策支持系统,也在为 CT 转诊的合理性评估提供帮助。然而,LLMs 在 CT 转诊评估中的实际表现究竟如何,与独立专家和传统决策支持系统相比有哪些优势和不足,仍有待深入研究。

为了解开这些谜团,来自以色列特拉维夫大学、格特纳流行病学与卫生政策研究所等多个机构的研究人员,开展了一项大规模的研究。他们以欧洲 7 个国家 125 个成像设施的 6356 名患者的 CT 转诊数据为样本,进行回顾性分析。研究旨在评估 LLMs(生成式预训练变换器 4(GPT - 4)和 Claude - 3 Haiku)和独立专家在 CT 转诊合理性判断方面的表现,并将 ESR iGuide 临床决策支持系统作为参考标准进行对比。

研究人员采用了多种关键技术方法。首先,从电子病历和成像系统中提取患者数据,包括年龄、性别、临床背景等信息。对于数据处理,针对数据缺失和不一致的情况,将数据分类为 “Medical Test”“Organ - Body Part”“Contrast” 三个主要部分分别处理。在评估模型性能时,运用准确性、精确性、召回率、F1 分数和 Cohen's kappa 等指标,通过二进制编码和引导程序进行量化分析,确保评估的科学性和可靠性。

在研究结果方面:

  • 医学检查评估性能:独立专家在医学检查合理性判断上表现最佳,准确率达到 92.4%,超过 GPT - 4(88.8%)和 Claude - 3 Haiku(85.2%)。从 Cohen's kappa 值来看,临床医生为 0.72,Claude - 3 Haiku 为 0.186,GPT - 4 为 0.335,这表明独立专家与参考标准的一致性更高。
  • 器官预测性能:LLMs 在器官预测方面表现出色,与专家水平相当。Claude - 3 Haiku 和 GPT - 4 的准确率分别为 75.3% - 77.8%,独立专家为 82.6%。它们的 kappa 值也显示出较高的一致性,说明在识别器官 - 身体部位方面,LLMs 具有一定可靠性。
  • 对比剂预测性能:在对比剂预测中,GPT - 4 表现突出,准确率达到 57.4%,Cohen's kappa 值为 0.457,显示出与参考标准的中度一致性,超过独立专家和 Claude - 3 Haiku。而 Claude - 3 Haiku 在这方面表现较差,其预测结果与参考标准的标签分布差异较大,kappa 值仅为 0.006。

综合研究结果与讨论部分,该研究意义重大。一方面,明确了独立专家在 CT 转诊评估中的主导地位,凸显了临床判断和专业医学知识的不可替代。另一方面,LLMs 在器官预测等特定领域展现出潜力,为未来优化 CT 转诊评估提供了新的思路。不过,目前 LLMs 仍存在局限性,如在医学检查评估中召回率较低,可能导致漏诊。因此,未来应采用人机结合的方式,让 LLMs 作为辅助工具,与人类专家的判断相互补充。同时,还需进一步优化 LLMs,提高其性能,探索将其更好地融入临床工作流程的方法,以实现医疗资源的合理利用和临床决策的精准化,推动医学影像学的发展。

相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号