编辑推荐：
为解决大语言模型（LLMs）能否从日本 FDG-PET 自由文本报告中准确提取信息并进行恶性淋巴瘤卢加诺分期的问题，研究人员评估了 GPT-4o 等 4 种 LLMs。结果显示 GPT-4o 准确率最高，达 75%。这表明 LLMs 在理解医学文本上有潜力。
在医学影像诊断领域，18
F- 氟脱氧葡萄糖正电子发射断层扫描（FDG-PET）是评估恶性淋巴瘤代谢活动的关键手段，而卢加诺分类（Lugano classification）则为解读 FDG-PET 结果、制定治疗策略提供了标准化依据。然而，传统的人工分期方式不仅耗时费力，还容易受到主观因素影响，导致不同医生之间的判断存在差异。同时，现有研究很少关注从日语 FDG-PET 报告的非结构化文本中进行分期。在此背景下，探究大语言模型（LLMs）能否准确提取相关信息并进行卢加诺分期，成为了医学领域的一个重要研究方向。
名古屋大学医学院的研究人员开展了一项回顾性单中心研究，旨在评估 LLMs 在基于日语 FDG-PET 报告进行恶性淋巴瘤卢加诺分期中的表现。研究团队最终纳入 80 例患者，这些患者均接受了分期 FDG-PET/CT 检查。研究人员未对数据进行预处理，直接将报告中的 “结果” 部分作为模型输入，让 4 种先进的 LLMs（GPT-4o、Claude 3.5 Sonnet、Llama 3 70B 和 Gemma 2 27B）基于报告内容进行卢加诺分期，并将模型结果与专家放射科医生确定的参考标准进行对比。该研究成果发表在《EJNMMI Reports》。
研究人员在此次研究中用到的主要关键技术方法如下：
- 数据收集与筛选：从医院大量的 FDG-PET/CT 扫描数据中，筛选出符合条件的 80 例患者数据，包括患者的年龄、性别以及 PET 报告的 “结果” 部分。
- 模型评估：利用 4 种 LLMs 对筛选后的数据进行卢加诺分期评估，其中本地模型（Llama 3 70B 和 Gemma 2 27B）在提示中加入卢加诺分类标准，在线模型（GPT-4o 和 Claude 3.5 Sonnet）则在无额外指导下进行评估。
- 统计分析：通过计算总体准确率、加权 kappa 系数等指标，对比模型分期结果与专家确定的参考标准，评估模型性能。
研究结果如下：
- 总体性能：GPT-4o 表现最佳，总体准确率达到 75%（60/80），加权 kappa 系数为 0.801，表明与参考标准有实质性的一致性；Claude 3.5 Sonnet 准确率为 61.2%（49/80），加权 kappa 系数为 0.763；Gemma 2 27B 和 Llama 3 70B 的准确率分别为 58.7% 和 57.5%，加权 kappa 系数分别为 0.658 和 0.645，均显示出实质性的一致性。
- 不同疾病阶段的性能：GPT-4o 在 I 期（100%）、II 期（77.8%）和 III 期（62.5%）的准确率高于其他模型；Claude 3.5 Sonnet 在 IV 期表现最佳（75%）；Gemma 2 27B 在 I 期（100%）和 II 期（77.8%）表现良好；Llama 3 70B 在 I 期（94.7%）表现不错。
- 模型间比较：McNemar 检验显示，GPT-4o 与 Llama 3 70B、GPT-4o 与 Gemma 2 27B 之间的准确率存在显著差异；Pearson 相关系数表明，各模型的预测结果之间存在强正相关，意味着尽管整体准确率有差异，但它们在分期决策上常常相似。
- 不同时期性能比较：对比 2014 年前后 LLMs 的性能，Gemma 2 和 Llama 3 70B 在 2014 年后准确率显著下降，而 Claude 3.5 Sonnet 和 GPT-4o 虽有下降但不显著。
研究结论与讨论部分指出，GPT-4o 在基于日语 FDG-PET 自由文本报告进行卢加诺分期方面表现出色，这表明 LLMs 在处理复杂医学文本分类任务上具有很大潜力，在某些情况下可为放射科医生的工作提供支持。不过，研究也存在一些局限性，如样本量小、未对模型进行外部数据集验证、未使用提示工程或微调等。未来研究应扩大样本量、跨多机构进行验证，优化开源模型，开发标准化报告模板，确保 LLMs 在临床应用中的安全性和隐私性。该研究首次将 LLMs 应用于基于日语 FDG-PET 报告的卢加诺分期自动化，为医学文本分析领域开辟了新方向，其成果有助于推动 LLMs 在医学领域的进一步应用和发展。
