编辑推荐：
为探究大语言模型（LLMs）在牙种植领域的应用效果，研究人员开展了不同 LLMs 在牙种植临床共识与病例分析中的效能比较研究。结果显示 ChatGPT-4 表现最可靠，Gemini Pro 1.5 次之。该研究为医疗决策提供参考。
在科技飞速发展的当下，人工智能（AI）已逐渐渗透到医疗领域的各个角落。大语言模型（LLMs）作为 AI 的重要分支，在自然语言处理（NLP）方面展现出强大的能力，其在医学领域的应用潜力也备受关注。此前已有研究探索了 LLMs 在医学中的应用，但在牙种植这一专业领域，LLMs 的辅助能力尚未得到充分挖掘。而且，以往对 LLMs 的评估多缺乏全面的定量分析，难以准确衡量其在医疗场景中的实际价值。牙种植结合了口腔外科、牙周病学和修复学等多学科知识，对医生的专业要求极高，然而全球口腔医疗资源分布不均，这一现状迫切需要新的技术手段来改善。在此背景下，开展关于 LLMs 在牙种植领域的深入研究显得尤为重要。
为了解决这些问题，浙江省人民医院、仙居县中医院等机构的研究人员进行了 “Effectiveness of various general large language models in clinical consensus and case analysis in dental implantology: a comparative study” 这一研究。研究成果发表在《BMC Medical Informatics and Decision Making》上。该研究通过一系列实验，对不同 LLMs 在牙种植领域的表现进行评估，为临床医生选择合适的模型提供了依据，有助于提高口腔医疗服务的可及性和临床决策的准确性，对推动口腔医学发展具有重要意义。
研究人员采用了以下关键技术方法：首先，设计了两阶段评估方案。第一阶段从国际口腔种植学会（ITI）临床指南系列中选取 20 个简单问题，涵盖判断题和数值填空题，考查模型对牙种植基础知识的理解；第二阶段通过 20 个复杂简答题和 6 个综合临床病例分析，评估模型的临床推理能力。病例来源于医院数据库的分层随机抽样。之后，邀请两位具有超过 15 年临床经验的牙种植专家，依据基于医学文本评估原则和 EQIP（Expanded Quality Information Patient）量表制定的评分系统，对模型的回答进行独立评估。最后，运用多种统计方法，如计算样本量、进行 ICC 分析评估评分一致性，使用 t 检验、Mann-Whitney U 检验分析模型间差异等。
研究结果如下：
- 一致性：通过组内相关系数（ICC）分析评估评分一致性，结果显示两位牙医在复杂问题和病例分析上评分的平均一致性非常高，ICC 值分别为 0.965 和 0.797，表明评分可靠。
- 简单问题：Gemini Pro 1.5 (0801) 在简单问题上准确率最高（0.80），Qwen 2.0 72B 最低（0.60）。ChatGPT-4 和 Claude 3 Opus 的准确率分别为 0.74 和 0.72。ChatGPT-4 与 Gemini Pro 1.5 (0801)、Claude 3 Opus 之间无显著差异，但与 Qwen 2.0 72B 差异显著。
- 复杂问题：ChatGPT-4 在复杂问题上平均得分最高（7.99 ± 1.95），表现稳定。Gemini Pro 1.5 (0801) 比 Claude 3 Opus 表现更好，Qwen 2.0 72B 中位数最高但变异性较大。
- 具体病例分析：在诊断模块，Qwen 2.0 72B 平均得分最高（10.90），与 Claude 3 Opus、ChatGPT-4 有显著差异。在治疗计划和规划模块，不同模型得分无显著差异。
研究结论和讨论部分指出，该研究提出了一种新颖的评估方法，客观地评估了 AI 生成的医学文本。不同模型在不同类型问题上表现各异，在简单医学问题上，Gemini Pro 1.5 (0801) 表现出色；复杂问题中，ChatGPT-4 最为可靠。虽然 LLMs 在诊断能力上有一定优势，但在制定个性化治疗计划时可靠性下降。这提示牙科从业者可利用 AI 辅助初始评估，但最终治疗决策仍需专业主导。同时，研究也存在局限性，如研究范围局限于牙种植学，评估标准依赖 ITI 指南等。未来研究可探索跨学科方法，推动针对复杂病例的个性化牙种植治疗。总之，该研究为 LLMs 在牙种植领域的应用提供了重要参考，有助于促进口腔医学与人工智能技术的深度融合，为改善口腔医疗服务质量奠定基础。
