深度强化学习赋能多靶点丙泊酚给药：精准调控生理参数，提升麻醉安全性与有效性

《Journal of Clinical Monitoring and Computing》：Deep reinforcement learning for multi-targets propofol dosing

为解决丙泊酚用于镇静或全身麻醉时，患者因素与实时生理反应复杂关系带来的给药挑战，研究人员开展了应用深度强化学习（DRL）实现丙泊酚自动给药的研究。结果显示，Twin Delayed Deep Deterministic Policy Gradient（TD3）算法表现优异，该研究有望提升麻醉安全性与有效性。

　　丙泊酚用于镇静或全身麻醉时，由于患者因素与实时生理反应之间的复杂关系，给药过程面临挑战。本研究探索深度强化学习（DRL）在丙泊酚自动给药中的应用，旨在将双频谱指数（BIS）、心率（HR）、呼吸频率（RR）和平均动脉压（MAP）等多种生理参数维持在安全且理想的范围内。研究人员开发了多变量药代动力学 - 药效学（PK/PD）模拟环境，以模拟丙泊酚对生理参数的影响，并设计了适用于多靶点麻醉输注的可调节奖励系统。深度强化学习智能体通过双延迟深度确定性策略梯度（TD3）算法进行训练，与模拟环境交互，在维持生理参数接近目标值且高于安全阈值时获得奖励。研究人员将 TD3 智能体的性能与其他深度强化学习算法和传统控制方法进行比较。结果表明，TD3 算法在丙泊酚给药过程中，对多种生理参数的精确和安全控制方面表现卓越，优于其他深度强化学习算法和传统控制方法。深度强化学习，尤其是 TD3 算法的应用，为丙泊酚自动给药提供了一种有前景的方法，有助于更好地管理生理参数，提高镇静和全身麻醉的安全性和有效性。