编辑推荐:
在医学教育中,评估对教学活动、课程规划及学生学习成果意义重大。为探究选择题(MCQs)与课程目标的契合度,伊斯兰国际医学院研究人员分析 2400 道 MCQs。结果发现两者存在显著偏差,有 561 处缺陷。该研究对提升评估质量、优化医学教育意义非凡。
在医学教育的大舞台上,评估就像一个 “指挥棒”,指引着教育活动的方向,影响着课程的规划与实施,还关乎学生的学习成果和未来发展。其中,选择题(Multiple Choice Questions,MCQs)因其客观性,广泛应用于医学教育评估中。它能在一场考试里覆盖大量知识点,有效检测医学生对基础知识的掌握程度。
然而,当前医学教育评估存在诸多问题。一方面,MCQs 的质量参差不齐,部分题目难度设置不合理,过易或过难都无法准确衡量学生的知识水平;另一方面,也是更为关键的一点,MCQs 与课程目标的契合度不高。这就好比射箭时靶子放错了位置,学生可能花费大量精力学习,却在考试中因题目与所学内容不匹配,无法展现真实水平,同时也让教育者难以准确评估教学效果。
为了解决这些问题,来自伊斯兰国际医学院(Riphah University)的研究人员开展了一项重要研究。他们的目标是评估 MCQs 与课程目标的对齐情况,找出题目存在的缺陷,并提出改进措施,以提升评估质量。
研究人员采用了定量描述性研究方法。他们收集了 2023 年伊斯兰国际医学院五年制本科医学教育课程(MBBS program)中,五个学年的中期评估预报告中的 2400 道 MCQs。这些题目涵盖了基础医学和临床医学阶段,具有广泛的代表性。
研究人员依据机构制定的检查表,对这些题目进行了严格审查。检查表的制定参考了 Case 和 Swanson 推荐的 MCQ 题目编写标准,并经过五位经验丰富的医学教育专家审核。专家小组由七名成员组成,包括学科内容专家、模块协调员和医学教育专家,他们从题目清晰度、认知水平(基于 Bloom’s taxonomy 划分,如认知水平 C1涵盖记忆和理解,C2涵盖应用和分析,C3涵盖评估和创造)、潜在缺陷等多个方面进行评估,确保题目符合评估标准和学习目标。
研究结果令人深思。在对 2400 道 MCQs 的审查中,共发现 561 处缺陷,主要分为三类:测试技巧类缺陷(125 处),如语法线索、逻辑线索、绝对词等,这些会帮助学生猜测答案;无关难度类缺陷(198 处),包括选项复杂冗长、题干存在多余细节等,使题目难度不合理增加;杂项缺陷(238 处),后来被认定为 “对齐缺陷”,这是之前未被记录的重要问题,涉及学习目标与 MCQ 不一致、场景与引导不一致、评估策略与内容不匹配等,严重影响了评估的准确性。
在讨论部分,研究人员指出,对齐缺陷对评估的有效性和可靠性影响巨大。当评估题目与课程目标不一致时,学生可能会在不相关的内容上花费精力,导致学习积极性受挫,同时也无法准确评估学生的知识和技能。例如,如果一道 MCQ 考查的内容并非课程重点,那么学生即使答对,也不能说明其对课程目标的掌握程度。此外,课程、教学和评估应紧密配合,共同服务于教育目标,而对齐缺陷破坏了这种协同关系。
为了改进现状,研究人员提出了一系列建议。首先,应建立持续的反馈机制,及时发现并解决评估中存在的问题。其次,加强内容专家、评估专家和课程设计者之间的跨学科合作,有助于优化评估质量。再者,为教师提供持续的专业发展机会,使他们能够掌握最新的评估策略和方法,设计出与课程目标高度匹配的 MCQs。
总的来说,这项研究揭示了 MCQs 与课程目标之间存在的显著差距,强调了系统解决这些缺陷的重要性。研究结果为医学教育评估的改进提供了重要依据,对提升医学教育质量、培养优秀的医疗专业人才具有深远意义。该研究成果发表在《BMC Medical Education》上,为医学教育领域的研究和实践提供了宝贵的参考。
研究中主要采用的关键技术方法包括:数据收集,收集五年内中期评估预报告中的 2400 道 MCQs;依据机构检查表进行文档分析,该检查表涵盖题目多个方面的评估标准;专家小组审查,由多领域专家共同对题目进行严格审查,以确保评估的全面性和准确性 。