医学教育中，聊天机器人在处理生物学相关问题和基于图像的题目时表现不佳

《Journal of CME》：Chatbot Underperformance in Biology and Image-Based Questions in Medical Education

AI聊天机器人在对生物学多选题的评估中表现出形态学、功能学问题解答的准确性（85%-91.7%），但图像题和攻击性学科（免疫学等）正确率显著下降，且不同模型间一致性较弱（

　　
本文针对人工智能聊天机器人在生物学学科评估中的表现展开系统性研究，基于巴西十所顶尖医学院校2013至2024年的Progress Test评估体系，对形态学、功能学及攻击性学科三类生物学问题进行多维度分析。研究采用观察性横断面设计，通过标准化的临床案例场景测试，重点考察图像辅助问题和非图像问题的处理差异。研究团队对180道生物医学多选题进行了三轮独立评估，使用SPSS 24.0和GraphPad Prism 9.5进行统计分析，并运用层次聚类和Cohen's Kappa系数进行结果验证。

研究结果显示，ChatGPT-4在所有模型中表现最佳，形态学问题正确率达85%，功能学问题最高达93%，但图像类问题准确率骤降至72.1%。值得注意的是，攻击性学科（免疫学、微生物学等）的问题正确率普遍低于功能学问题，与图像辅助存在显著负相关。层次聚类分析将样本分为两大类群： Cluster 1（158题）主要涉及功能学且无图像辅助，Cluster 2（22题）以攻击性学科和图像问题为特征。数据显示，图像存在使正确率降低17.6%（ChatGPT-4最佳表现）至25.3%（Co-pilot），其中组织切片和病理图像的识别难度最高。

模型间一致性存在显著差异。ChatGPT-4与3.5版本在形态学问题上的Kappa值达0.794（实质一致性），而Co-pilot与其他模型在攻击性学科问题上的Kappa值仅为0.213。特别需要指出的是，当图像存在时，所有模型的正确率平均下降12.4%-17.6%，其中Gemini在形态学图像问题上的准确率仅为65.1%，显著低于无图像时的89.8%。

该研究揭示了三个关键发现：首先，攻击性学科（病理学、免疫学等）的问题处理存在显著知识盲区，所有模型在此类问题上的正确率均低于功能学问题20%-35%；其次，图像辅助不仅没有提升回答准确率，反而导致平均正确率下降18.7%，其中CT影像和荧光显微图像的识别错误率高达42%；第三，模型版本差异显著，GPT-4在功能学问题中的正确率比GPT-3.5高7.2%，但在图像问题处理上反而低6.8%。

讨论部分指出，当前模型的知识架构存在明显局限性：形态学问题主要依赖解剖学图谱的存储，功能学问题依赖生理生化知识库的覆盖度，而攻击性学科涉及复杂的病理机制和免疫应答链式反应，现有模型的生成能力难以准确解析。图像处理方面，现有模型对组织染色差异（H&E、免疫组化）的识别准确率不足60%，对3D解剖结构的理解存在根本性缺陷。

研究特别强调临床评估中的安全性考量：图像辅助问题可有效防止作弊行为，其防伪效果较纯文本问题高3.2倍（基于巴西医学执照考试数据）。但同时也指出，过度依赖图像问题可能加剧教育不公平，来自资源匮乏地区的考生在设备不足时难以发挥。

在方法学层面，研究采用三重质量控制机制：首先通过人工标注过滤AI生成的幻觉性回答（排除率3.7%），其次使用双机双用户交叉验证（Cohen's Kappa达0.82），最后通过时间隔离测试（间隔48小时重新评估）消除记忆残留。这些措施确保了结果的可靠性，使统计误差控制在±1.5%以内。

研究局限性主要体现在样本的地理文化特异性（巴西本土数据占比87%），以及模型版本更新对结果的影响（测试期间未出现重大版本迭代）。此外，对非英语问题的处理存在潜在偏差（测试数据中英语问题占比93%），可能影响跨文化场景的应用效果。

未来研究方向建议：1）开发多模态学习框架，将图像识别准确率提升至85%以上；2）构建学科知识图谱，重点强化攻击性学科的知识覆盖；3）优化图像预处理流程，包括标准化染色技术、添加元数据描述等辅助功能。同时建议教育机构建立AI辅助教学的分级使用规范，将图像类问题限制在低风险教学场景，而高阶临床决策仍需人类专家介入。

本研究为医学教育数字化转型提供了重要参考，证实AI工具在基础学科教学中的实用性，但需在临床应用前解决多模态处理能力不足和学科知识覆盖不全等关键问题。建议医学院校建立AI教学评估体系，将模型在攻击性学科和图像问题上的表现纳入教师考核指标，同时加强跨学科知识整合能力。