临床预测模型(CPM)验证:提升医学决策可靠性的关键

【字体: 时间:2025年03月19日 来源:BMC Medicine 7.7

编辑推荐:

  为解决临床预测模型(CPM)有效性验证问题,研究人员探讨其验证现状、挑战等,强调验证重要性。

  # 临床预测模型(CPM)验证:提升医学决策可靠性的关键
在现代医学领域,临床预测模型(Clinical Prediction Models,CPM)如同一股新兴力量,正逐渐渗透到各个医疗分支。它就像是医生手中的 “智能指南针”,能够帮助医生更精准地对患者进行诊断、风险分层,还能优化个体治疗方案或指导患者的生活决策。想象一下,通过一个模型就能提前知晓某种疾病的发病风险,或者预测某种治疗方法对患者的疗效,这对医疗效率和患者健康的提升有着不可估量的作用。随着算法技术的飞速发展,CPM 的工业化生产似乎指日可待。然而,这看似美好的前景背后却隐藏着诸多问题。就像一艘在大海中航行的船,如果没有校准好罗盘,就可能迷失方向。我们怎么知道这些模型在实际临床应用中是否真的可靠,会不会给患者带来伤害呢?这就是 CPM 验证亟待解决的问题。
在这样的背景下,来自德国慕尼黑大学医学院医学信息处理、生物统计学和流行病学研究所(IBE)的 Ulrich Mansmann 和 Begüm Irmak ?n 开展了相关研究,其成果发表在《BMC Medicine》上。这项研究聚焦于 CPM 验证,深入探讨了 CPM 验证的现状、面临的挑战以及缺乏验证可能带来的后果,强调了建立强大验证文化的重要性,对推动 CPM 在临床实践中的合理应用意义重大。

CPM 验证分为内部验证和外部验证。内部验证主要在模型开发所使用的同一患者群体上进行,重点关注模型的可重复性和过拟合问题。就好比用同一套模具反复生产产品,检查产品是否每次都能符合标准,有没有出现过度贴合模具的情况。而外部验证则是在不同地点或不同时间的新患者群体上进行,关注的是模型的可转移性和临床获益,这就如同把产品拿到不同的市场去检验,看它是否同样适用并能带来好处。目前,虽然 CPM 的开发、评估和实施有相关的方法,但这些概念并未形成被广泛接受的良好实践。CPM 验证至少存在三个层面的证据:评估准确性(辨别力、校准度)、通用性(可重复性、可转移性)以及临床实用性。

在过往的研究中,虽然有不少关于 CPM 的探讨,但多数集中在可行性(Phase I)或开发阶段(Phase II),许多有前景的 CPM 并没有进入到更高级别的、聚焦外部验证的证据阶段。而且,与药物开发严格的质量保证相比,CPM 的质量保证水平要低得多。在 CPM 进入临床检查流程并获得医保报销之前,往往只进行了技术验证和概念验证研究。

为了建立强大的验证文化,需要多方面的努力。医学协会应承担起责任,通过持续的医学教育,提高医务人员对 CPM 质量评估的认识,让他们掌握相关的评估方法。在研究方面,遵循 TRIPOD AI 报告指南,研究者要清晰定义研究的人群、背景和方法,还要提及竞争模型以及开发新 CPM 的理由,明确研究对证据的贡献和预期的改进方向。期刊和审稿人也有责任确保这些信息在出版物中清晰可见。资助者应注重 CPM 项目的现实可行的验证策略。制定临床指南的组织需要要求对 CPM 进行外部验证和影响研究,通过系统评价和荟萃分析,快速、经济地确定当前最佳证据,同时评估 CPM 与既定常规相比是否能为患者带来可衡量的益处,以及其在联合决策中的可用性。

CPM 验证面临着诸多挑战。一方面,人们对 CPM 质量证据的认识不足,且缺乏强制执行的力度。另一方面,验证过程本身十分复杂,患者群体、测量程序以及它们随时间的变化等不同层面的异质性都会影响模型在验证中的性能。此外,个性化医疗的发展和快速变化的治疗选择使 CPM 更容易过时。例如,用于预测多发性硬化症(Multiple Sclerosis,MS)患者最有效治疗转换方案的 PHREND 模型,虽然已获得认证并作为医疗设备实施,但外部验证有限。研究人员进行的概念验证显示,类似方法在法国数据集上有相似的预后结果,但该模型提出的治疗选择能否在相应患者群体中带来更好的治疗效果尚不明确。要进行影响分析,需要建立集群随机对照试验(cluster RCT),但这样的试验样本量需求大、时间长。

如果当前缺乏验证的情况持续下去,CPM 的成熟会在早期阶段受阻。由于缺少外部验证或影响研究,无法进行系统评价,这不仅阻碍了对 CPM 的经验积累,还可能导致对模型能力的误解。从长远来看,研究决策偏向创新而忽视验证或巩固,会导致不可靠研究结果的积累,在多个科学领域都曾出现过类似令人失望的情况。

在研究方法上,研究人员主要通过文献综述,梳理 CPM 验证在不同阶段的研究情况,分析各类指南和已有的研究建议,探讨当前存在的问题。同时,以 PHREND 模型为例,对具体模型的验证情况进行深入剖析,通过案例分析揭示 CPM 验证面临的挑战和实际困难。

研究结果


  • CPM 验证的现状:多数 CPM 研究停留在可行性或开发阶段,缺乏高级别的外部验证,质量保证水平较低。
  • 建立验证文化的需求:医学教育、研究规范、资助策略和临床指南制定等多方面都需要改进,以推动 CPM 验证。
  • CPM 验证的挑战:包括缺乏意识、执行不力、验证过程复杂以及医学发展带来的模型过时风险等。
  • 缺乏验证的后果:CPM 成熟受阻,影响系统评价,导致不可靠研究结果积累。

研究结论强调,验证和影响研究的稀缺阻碍了对 CPM 临床价值的可靠认知。科学的目的不仅是探索新知识,还应验证和巩固现有知识。对于拥有相对小数据集的研究人员,建议优先进行验证研究,而非开发样本量不足的新模型。这一研究成果为 CPM 的发展指明了方向,提醒科研人员、医学协会、资助者以及临床指南制定者等各方,要重视 CPM 的验证,共同努力建立强大的验证文化,确保 CPM 在临床实践中发挥积极作用,提高医疗决策的可靠性,最终造福患者。
相关新闻
生物通微信公众号
微信
新浪微博
  • 急聘职位
  • 高薪职位

知名企业招聘

热点排行

    今日动态 | 人才市场 | 新技术专栏 | 中国科学人 | 云展台 | BioHot | 云讲堂直播 | 会展中心 | 特价专栏 | 技术快讯 | 免费试用

    版权所有 生物通

    Copyright© eBiotrade.com, All Rights Reserved

    联系信箱:

    粤ICP备09063491号