ChatGPT-4能否替代骨科试题库？评估人工智能为骨科培训考试编写试题的能力

《Current Problems in Surgery》：Can ChatGPT-4 Replace Orthopaedic Question Banks? Evaluating AI’s Ability to Write Questions for the Orthopaedic In-Training Exam.

本研究评估ChatGPT-4生成骨科OITE考试风格试题的准确性，发现70%题目存在错误，包括临床描述矛盾（44%）、干扰项无法排除（20%）和答案错误（16%）。试题难度与OITE相当，但临床相关性仅25%认为很高。尽管部分教育者认为经修改可用于教学，但存在内容不准确风险。研究强调AI生成试题需谨慎，未来需优化模型和提示工程。

　　
本研究聚焦于评估人工智能技术生成骨科住院医师培训考试（OITE）类问题的能力与局限性。研究团队通过构建标准化提示模板，利用ChatGPT-4生成20道与OITE考试难度和主题匹配的试题，并邀请10位接受过严格专科培训的骨科教学专家进行系统性评估。结果显示，70%的AI生成试题存在至少一个临床或知识性错误，错误类型涵盖临床场景矛盾、干扰项设计不当、答案错误等六个主要方面。其中临床场景矛盾是最常见的错误类型（占比44%），例如试题中描述的创伤时间与并发症发生规律不符合临床实际。

在专科维度上，脊柱外科生成的试题错误率最高（56%），其次是足踝外科（35%）和骨科肿瘤领域（50%）。这种差异可能与不同专科的临床知识复杂度相关，脊柱外科涉及解剖结构精细和手术方案多样性，而肿瘤领域存在多种治疗选择和复杂病理机制。值得关注的是，基础科学类试题错误率最低（0%），这表明AI在处理教科书式的基础知识时表现更可靠，但在需要临床综合判断的复杂问题中仍存在明显短板。

试题难度评估显示，51%的专家认为AI生成题与OITE难度相当，但仅25%的受访者认为内容对临床实践高度相关。这种认知差异提示，AI生成的试题可能在形式上模拟考试要求，但缺乏临床实践导向的深度。在实用性方面，50%的专家表示经过适度修改后可用于教学，但需注意这主要基于专家的主观判断，未进行长期教学效果验证。

研究揭示AI生成试题存在三大核心问题：第一，临床逻辑自洽性不足，常见错误包括时间线矛盾（如术后4周出现急性并发症）、解剖位置错误（如将血管误植手术区域）以及症状描述混淆（如将两种类似病症的临床表现叠加）。第二，干扰项设计质量参差不齐，部分试题存在无法有效排除干扰项的情况，这直接影响了试题的区分度。第三，知识引用存在偏差，尽管研究要求标注参考文献，但仍有案例显示AI虚构了不存在的临床指南或研究文献。

从教育应用角度，研究证实AI在标准化试题生成方面具有潜力，但需要严格的医学专家审核流程。特别是对于需要临床经验积累的复杂病例分析题，AI的生成准确率仅为基础科学题目的1/5。这提示在应用AI辅助教学时，应重点处理标准化知识模块，而对于需要临床推理的题目仍需人工把关。

研究同时指出了方法论的局限性：样本量较小（10位专家）、未设置对照组、仅测试单一AI模型（ChatGPT-4）以及评估周期较短（单次生成测试）。这些因素可能影响结论的普适性。但研究强调，通过持续优化提示工程（如引入多层级验证、增加临床路径约束）和迭代训练（如使用骨科专家标注数据微调模型），AI在试题生成方面的表现有望逐步提升。

值得关注的研究发现是，错误类型与专科特性存在关联。脊柱外科试题中56%的错误集中在解剖定位错误和手术适应症混淆，而骨科肿瘤试题的50%错误涉及多学科治疗方案的误配。这种专科特异性错误提示，AI在知识整合和跨领域关联能力上存在结构性缺陷，难以准确捕捉不同专科的临床决策逻辑。

对于教育实践的建议，研究提出三阶段应用模型：初级阶段作为辅助工具生成基础题库（错误率<20%），中期通过专家审核建立修正机制（错误率降至<10%），长期构建专科定制模型（错误率<5%）。特别需要指出的是，尽管研究显示部分试题经修改后可用，但临床培训的关键阶段（如术前决策模拟、复杂病例鉴别）仍不宜直接使用AI生成题库，而应作为补充资源。

研究结论对AI医学教育发展具有重要启示：当前LLM在处理需要临床经验的复杂问题时，仍存在知识整合、逻辑推演和临床直觉等方面的瓶颈。但其在快速生成大规模标准化试题方面的效率优势（生成20道试题仅需几分钟，而人类专家需数周时间），结合结构化审核流程，有望显著降低医学教育成本。未来研究应着重于建立AI临床知识图谱、开发多模态输入系统（如结合影像资料）、构建专科定向训练数据集等方向，以突破现有技术局限。

该研究为AI在医学教育中的应用划定了明确的发展路径，既指出了现阶段的技术瓶颈（错误率70%、专科差异显著），也展现了技术改进的可能性（50%专家认可可修正后使用）。这为医学教育工作者提供了实用指导：在基础医学和标准化试题生成方面，AI可以作为高效工具；而在临床思维训练和复杂病例分析中，仍需依赖人类专家的引导和修正。同时，研究强调了临床教育者应主动参与AI工具的优化过程，通过提供典型错误案例、构建专科知识库等具体措施，推动AI教育应用从理论验证走向实际落地。