强化学习在鲁棒动态代谢控制中的应用

《Biotechnology and Bioengineering》：Reinforcement Learning for Robust Dynamic Metabolic Control

动态代谢控制强化学习框架在Escherichia coli生物合成中的应用研究。摘要：提出基于强化学习的动态代谢控制框架，通过模拟器与域随机化技术处理高维、非线性及随机性问题，有效优化了两种大肠杆菌生物合成过程（脂肪酸和乳酸）的酶表达调控，显著提高产物产量并增强系统鲁棒性。

　　动态代谢控制是生物过程优化中的一个关键领域，它允许关键的代谢通量在实时条件下进行调节，从而提升系统的灵活性和优化的自由度。这种方法通常通过有针对性地调控代谢酶的表达水平来实现。然而，找到最优的动态控制策略仍然面临诸多挑战，主要源于系统解空间的高维度、代谢负担和细胞毒性效应的管理，以及生物过程中的随机性动态特性。为了应对这些复杂性，本文提出了一种基于强化学习（Reinforcement Learning, RL）的框架，通过让一个智能体（控制器）与一个代理动态模型进行交互，以推导出最优的控制策略。该框架通过领域随机化（Domain Randomization）增强了策略的鲁棒性，使得控制器能够在不确定性条件下实现良好的泛化能力。一旦该策略被转移到实验系统中，智能体理论上还可以继续微调策略，以适应实际过程的变化。相比传统的基于模型的控制方法，如模型预测控制（Model Predictive Control, MPC），本文提出的框架无需对模型进行关于决策变量的微分，而是依赖于模型的前向积分，从而简化了任务。此外，本文通过两个代表性案例——大肠杆菌中脂肪酸合成的动态控制和乳酸发酵中的ATP酶动态调控，验证了该框架的有效性。

强化学习是一种基于机器学习的反馈控制方法，它通过让智能体与环境进行交互来学习最优策略。在动态代谢控制中，智能体的目标是最大化一个用户定义的性能指标，这个指标可以衡量生物系统的生产效率。与传统的静态控制策略相比，动态控制策略能够实现更精细的调控，从而在不牺牲细胞健康的情况下提升生产效率。然而，静态控制策略往往由于固定的表达水平而限制了系统的灵活性和适应性，这在复杂的生物系统中显得尤为不利。因此，动态控制策略能够更好地应对系统中的不确定性，如基因表达的随机性、过程变量的波动以及外部干扰，从而提高系统的稳定性和生产效率。

在本文中，我们提出了一种基于强化学习的框架，通过领域随机化方法，将系统中的不确定性融入训练过程中，从而使得智能体能够在不同的系统条件下学习到具有鲁棒性的控制策略。这种方法的核心思想是，通过模拟各种可能的不确定性场景，训练出的策略能够更好地适应实际环境的变化。与传统的基于模型的控制方法相比，该框架不需要对模型进行复杂的微分运算，而是通过模型的前向积分来实现控制策略的优化。这种方法的优势在于，它能够处理高度非线性、刚性以及分段定义的动态系统，避免了传统方法在模型求解过程中可能遇到的收敛问题。

为了进一步说明该框架的实用性，我们选择了两个与工业生物技术密切相关的案例进行验证。第一个案例是大肠杆菌中脂肪酸合成的动态控制，通过调控关键酶——乙酰辅酶A羧化酶（Acetyl-CoA Carboxylase, ACC）的表达水平，以实现更高的生产效率和细胞活力。第二个案例是大肠杆菌在乳酸发酵过程中的ATP酶动态调控，通过调整ATP酶的表达水平，以实现乳酸合成速率和细胞生长之间的最佳平衡。这两个案例分别展示了如何通过动态控制策略优化生产效率和满足预设的代谢轨迹，从而提高整个生物过程的可控性和鲁棒性。

在脂肪酸合成的案例中，我们观察到动态控制策略能够显著提高最终脂肪酸的产量，相比静态控制策略，其提升幅度达到了41%。这一结果表明，通过动态调控ACC的表达水平，可以更有效地避免细胞毒性效应，同时确保代谢通量的持续增长。此外，即使在高不确定性条件下，动态控制策略仍然能够保持较高的生产效率，这得益于领域随机化方法对不确定性的有效处理。在乳酸发酵的案例中，动态控制策略能够成功跟踪预设的ATP酶动态轨迹，从而在不同时间点实现细胞生长和乳酸合成之间的最佳平衡。尽管在高不确定性条件下，乳酸产量略有下降，但动态控制策略仍然能够维持较高的生产效率，这进一步证明了其在复杂生物系统中的适用性。

强化学习框架的优势在于其对系统不确定性的适应能力。通过在训练过程中引入不同水平的不确定性，智能体能够学习到在各种条件下都有效的控制策略。这种能力在实际生物过程控制中尤为重要，因为生物系统往往受到多种随机因素的影响，如基因表达的波动、环境条件的变化以及细胞内部的代谢反应。领域随机化方法使得智能体能够在模拟环境中探索和学习，从而提高其在真实系统中的鲁棒性。此外，该框架还能够在实验实施之前，通过虚拟环境对不同的代谢调控策略进行评估，为实验设计提供指导。

本文提出的强化学习框架为生物过程的动态代谢控制提供了一种新的思路，特别是在处理复杂、非线性以及高不确定性系统时表现出色。与传统的基于模型的控制方法相比，该框架不需要对模型进行复杂的数学处理，而是通过模型的前向积分和策略的迭代优化来实现控制目标。这种方法不仅简化了控制策略的推导过程，还提高了策略的适应性和鲁棒性，使其能够应对实际生物过程中的各种变化。此外，该框架还能够为不同代谢调控策略的评估提供一个系统的方法，从而帮助研究人员在实验实施前找到最优的控制策略。

综上所述，本文提出的强化学习框架为生物过程的动态代谢控制提供了一种高效且鲁棒的方法。通过将系统不确定性融入训练过程，该框架能够使智能体学习到在不同条件下都有效的控制策略，从而提高生物过程的可控性和生产效率。未来的研究方向包括进一步优化控制策略的泛化能力，以及探索更复杂的生物系统模型，以适应更广泛的工业应用需求。此外，该框架还可以应用于其他生物过程，如蛋白质合成、药物生产等，为生物工程领域提供新的工具和方法。