利用大语言模型和考试结果统计分析生成医学教育学习指南的意义探究

《BMC Medical Education》：Generating learning guides for medical education with LLMs and statistical analysis of test results

为解决 PTM 反馈缺乏针对性学习建议及反馈准备工作繁琐等问题，研究人员开展了利用大语言模型（LLMs）和统计分析生成医学教育学习指南的研究。结果显示能生成覆盖多医学主题的反馈，发现学生知识差距。该研究为学生提供个性化学习建议，意义重大。

　　在医学教育领域，柏林夏里特医学院（Charité-Universit?tsmedizin Berlin）自 1999 年起每年组织两次医学进展测试（Progress Test Medizin，PTM） ，旨在帮助医学生衡量自身知识水平。随着时间推移，PTM 不断发展，截至 2024 年，已有 17 所位于德国、奥地利和瑞士的大学参与，且考试语言扩展为德语和法语。PTM 包含 200 道研究生水平的选择题，内容涉及多个领域、器官系统和学科，兼具理论性和实践性。

然而，当前 PTM 反馈存在一些问题。虽然学生能收到包含考试成绩、与同龄人对比情况等信息的六页报告，但其中缺乏如何改进的学习建议。而且，准备反馈不仅耗时，其质量还取决于准备人员，且在准备个性化反馈时，需要收集和解读详细的成绩数据，考虑学生的优势、劣势、学习风格和偏好，过程复杂。在这样的背景下，开展这项研究十分必要。

为解决上述问题，柏林夏里特医学院（Charité-Universit?tsmedizin Berlin）、伊尔梅瑙工业大学（Technische Universit?t Ilmenau）和耶拿弗里德里希?席勒大学（Friedrich Schiller Universit?t Jena）的研究人员 Iván Roselló Atanet、Mihaela Tomova 等人开展了相关研究。研究人员提出一种七步方法，结合大语言模型（LLMs）和统计分析，为 PTM 参与者提供个性化学习建议。研究结果发表在《BMC Medical Education》上。

研究人员采用的主要技术方法如下：首先，使用大语言模型 ChatGPT 4.0 从 PTM 问题中提取英文医学主题词（Medical Subject Headings，MeSH），并通过多次提取、词形还原和余弦相似度计算评估提取结果，再与 MeSH 词库对比验证。其次，利用词频 - 逆文档频率（tf-idf）将 MeSH 术语分配到器官系统。此外，引入前体问题概念，通过分析答案模式确定问题间关系，进而生成学习指南。

研究结果主要包括以下几个方面：

• 提取和评估 MeSH 术语：对 PTM 第 46 期数据进行分析，ChatGPT 4.0 一次提取的概念和关键词数量多集中在 1 - 5 个，三次提取后每个问题的概念和关键词数量范围为 2 - 23，最频繁范围是 6 - 10、1 - 5 和 11 - 15 。提取的概念和关键词与相关测试项目的匹配度达 99.54%，且 90% 的关键词是 MeSH 术语。
• 学习指南的生成与分析：根据测试者的答题模式、信心水平和总分，将其分为五个簇，其中簇 2 和簇 4 为 “退出” 簇，不适合生成学习指南。对簇 0、1 和 3 分析发现，不同簇的学生在不同学习阶段的知识掌握情况不同，例如簇 0 学生在 “无需明显知识缺陷” 和 “适合深入学习” 的主题占比更高；不同簇的优先学习主题也有所差异，如簇 0 为肌肉骨骼和神经生理现象、肌肉等，簇 1 为循环和呼吸生理现象，簇 3 为健康职业。

研究结论和讨论部分具有重要意义。研究成功利用大语言模型和统计分析为 PTM 参与者生成个性化反馈，能有效识别学生知识差距和问题领域，尤其对高年级学生效果显著，他们在早期学期所学主题上存在知识缺陷。该方法在其他教育环境也有一定适用性，但需根据不同学术课程、内部组织和学生群体等因素进行调整。同时，研究也存在一些局限性，如大语言模型功能受限，无法用于测试评分；部分簇（如簇 2 和簇 4）的反馈构建存在困难；研究为单中心研究，可能受课程差异影响；此外，测试中存在的不良问题也可能影响知识评估质量 。尽管如此，这项研究为医学教育反馈提供了新的思路和方法，对未来改进医学教育评估和促进学生学习具有重要的参考价值，有望推动医学教育领域的发展，帮助学生更高效地提升知识水平。