基于强化学习的冠状动脉疾病血运重建决策优化研究：RL4CAD模型在降低MACE中的临床价值

本研究针对冠状动脉疾病(CAD)血运重建治疗决策的临床困境，创新性地应用强化学习(RL)算法开发RL4CAD模型。研究人员通过分析41,328例患者的临床数据，比较传统Q学习(QL)、深度Q网络(DQN)和保守Q学习(CQL)三种算法，证明最优RL策略较医师常规决策可显著降低27%的主要不良心血管事件(MACE)，其中CABG优先策略展现最佳效果。该研究为CAD个性化治疗提供了可调节临床实践差异的智能决策工具。

　　

冠状动脉疾病（CAD）作为全球首要死因，其治疗决策长期面临血运重建方式选择的临床困境。尽管经皮冠状动脉介入治疗（PCI）和冠状动脉旁路移植术（CABG）均已建立明确适应证，但临床实践中仍存在显著决策差异：SYNTAX评分²⁰等解剖学评估工具未能整合关键临床变量，而地域间治疗偏好（如卡尔加里与埃德蒙顿医院的PCI率差异）进一步加剧决策的不一致性。这些因素导致CAD患者难以获得基于最优循证证据的个性化治疗，亟需智能决策系统来平衡临床效果与医疗资源分配。

加拿大阿尔伯塔大学（University of Calgary）的研究团队在《npj Digital Medicine》发表突破性研究，首次将强化学习（Reinforcement Learning, RL）框架应用于CAD血运重建决策优化。该研究基于APPROACH注册研究中41,328例患者的49,521次导管手术数据，构建马尔可夫决策过程（MDP）模型，通过比较传统Q学习（QL）、深度Q网络（DQN）和保守Q学习（CQL）三种算法，开发出能显著降低主要不良心血管事件（MACE）的RL4CAD决策系统。研究显示最优RL策略较医师常规决策可提升27%的累积奖励值，其中对复杂CAD患者优先推荐CABG的策略与现有循证证据高度吻合，同时通过CQL算法实现临床实践可调节的"保守性创新"，为CAD智能诊疗树立新范式。

关键技术方法包括：1）从APPROACH注册库提取49,521次导管手术的402维特征；2）构建以三年MACE为终点的MDP模型，定义状态空间（k-means聚类）、动作空间（MT/PCI/CABG）和基于生存时间的奖励函数；3）采用加权重要性采样（WIS）进行离线策略评估；4）开发包含QL（84状态）、DQN和CQL（α=0-0.5）的对比框架；5）通过Shapley值解析决策特征重要性。

【研究结果】

Population characteristics

队列分析显示57%患者接受PCI，16.4%选择CABG，26.7%采用药物治疗（MT）。基线特征中糖尿病（26%）、三支病变（37%）等高危因素普遍，为RL训练提供丰富临床场景。

Evaluation of traditional Q-learning models

传统QL在84状态模型中获得最佳平衡，其贪婪策略预期奖励达0.788（CI:0.78823-0.78827），较医师策略提升27%。状态可视化显示RL策略成功消除地域偏倚（如两城市PCI率差异P<0.05被修正）。

Policy similarities

DQN策略推荐CABG率达39%，显著高于医师基线（16.4%），对应最高预期奖励（0.81）。而CQL（α=0.5）在保持68%临床决策一致性的同时仍实现14%的MACE改善，证实"保守优化"可行性。

Sensitivity analyses

不同MACE定义（排除再次血运重建或仅保留90天死亡率）的敏感性分析证实RL策略优势的稳健性，奖励值变化幅度<5%。

【结论与讨论】

该研究开创性地证实离线强化学习在复杂临床决策优化中的价值：首先，RL4CAD模型通过整合多维临床特征与长期结局数据，克服传统解剖评分（如SYNTAX²⁰）的局限性，其84状态QL模型展现出优异的可解释性，特征重要性热图

清晰揭示糖尿病、病变支数等关键驱动因素；其次，CQL算法实现临床采纳性与疗效提升的平衡，其参数α（0.001-0.5）可灵活调节医疗系统资源限制与理想决策的差距；最后，MDP建模有效捕捉CAD治疗的时序特性，较Bertsimas等³¹的静态预测模型更符合临床实际。

研究局限性包括离线评估的潜在偏差、五年以上长期效果待验证等，但通过WIS评估和43,312次治疗事件的广泛覆盖已最大限度确保结论可靠性。未来结合在线学习迭代和医疗资源约束多目标优化，RL4CAD有望成为CAD精准医疗的核心决策引擎，其方法论框架更可拓展至其他复杂临床场景的智能决策支持。