编辑推荐：
为解决电动汽车（EV）混合能源系统（HES）能量管理难题，北京理工大学研究人员开展基于离线强化学习（ORL）的数据驱动能量管理研究。结果显示，该方法能有效优化能量消耗、减少系统退化，对提升电动汽车能效和寿命意义重大。
在全球可持续发展和环保的大背景下，电动汽车（EV）成为了汽车行业变革的主力军。随着混合能源系统（HES）在电动汽车动力总成中的应用越来越广泛，如何进行有效的能量管理，成为了优化电动汽车性能的关键。早期的能量管理策略（EMS）主要依赖基于规则的方法，这种方法不仅耗费大量人力和时间，而且在面对动态驾驶场景时适应性较差。后来，基于最优控制理论的方法，如动态规划（DP）和模型预测控制（MPC），虽然在理论上能够实现接近最优的能量分配，但准确预测未来驾驶条件非常困难，并且计算复杂度较高，限制了其在实际中的应用。再后来，强化学习（RL）尤其是深度强化学习（DRL）的出现，为能量管理带来了新的思路。然而，基于仿真的 DRL 方法在应用到实际车辆任务时，存在样本效率低和安全隐患等问题，同时，“仿真到现实” 的差距也使得在仿真环境中开发的 EMS 策略难以有效应用到实际车辆中。
为了解决这些问题，北京理工大学的研究人员开展了一项基于离线强化学习（ORL）的数据驱动电动汽车能量管理研究。该研究成果发表在《Nature Communications》上，具有重要的意义。
研究人员在开展研究时，主要运用了以下关键技术方法：首先构建了电动汽车动力总成模型，涵盖燃料电池（FC）系统、氢储罐、电动机（EM）和锂离子电池（LIB）等组件，并通过一系列公式来描述其运行特性和能量转换关系；将 EMS 问题建模为长期顺序决策过程，以最小化总能量成本并维持电池荷电状态（SOC）在合理范围内，同时定义了状态空间、行动空间、转移分布、奖励函数等；提出了 ORL 算法，具体为 Actor-Critic with BPR（AC-BPR）算法，通过结合行为克隆（BC）和基于判别器的正则化（DR）来平衡保守学习和探索学习。
研究结果如下：
- 数据驱动 EMS 概述：开发了增强现实电动汽车平台，该平台将中国电动汽车监测管理系统的真实运行数据与高保真模拟的燃料电池电动汽车动力总成模型相结合，高效收集大规模电动汽车数据集。在数据收集阶段，利用该平台生成全面可靠的 EMS 数据集，并将数据编码为过渡数据集D=(s,a,s′,r)l存储在经验回放缓冲区。在离线学习阶段，使用 AC-BPR 算法进行学习，该算法能有效改进策略，即使在学习次优或低质量数据集时也能提升性能。训练完成后，对训练好的 ORL 智能体进行评估，评估后可调整超参数或训练过程，直至 EMS 达到期望性能水平，此时训练好的智能体可部署到实际场景中优化能量管理系统。
- 从非最优数据中学习卓越的 EMS：研究人员选择近端策略优化（PPO）作为专家 EMS 生成数据集，并通过组合专家数据集和随机数据集创建不同质量的次优离线数据集。实验结果表明，ORL 智能体在不同数据集上均能成功学习有效的 EMS，即使在训练随机数据集时也能接近专家级结果。通过分析优化后 EMS 的行动分布发现，ORL 策略能学习到更优的 FC 功率变化范围，确保更平稳的 FC 功率输出并满足功率需求。
- 通过对比评估性能：将 ORL 与基于仿真和模仿学习的 EMS 方法进行对比。结果显示，在学习非专家数据时，ORL 表现更优，能有效学习到卓越的 EMS，而模仿学习在面对非专家数据时性能较差。同时，ORL 学习的 EMS 能使 FC 系统主要在高效区域运行，减少氢气消耗和系统成本，且电池 SOC 保持在合理范围内。
- 随着数据增长的持续学习：进行了三个案例的实验。在案例 1 中，通过收集郑州电动公交车固定路线的驾驶数据，ORL 智能体不断学习历史数据，成本效率不断提高，从最初的 88.0% 提升到 98.6%。案例 2 中，ORL 方法利用仿真数据进一步学习，有效降低了仿真到现实的差距，提升了基于仿真的 EMS 在现实环境中的性能。案例 3 中，通过在大规模数据上训练 ORL 智能体，发现随着训练数据增加，其性能不断提升，在极端驾驶条件下也能学习到合理的 EMS，且能将 SOC 保持在合理范围内。
研究结论和讨论部分指出，该研究提出的基于 ORL 的数据驱动 EMS 为电动汽车 HES 的能量管理提供了一种创新方法。它具有简单数据驱动、能与现有 EMS 无缝集成、通用性强等优点。然而，该研究也存在一定局限性，如 ORL 智能体相比传统方法需要更多数据，当前电动汽车数据标准也不足以支持该方法，同时还需进一步研究确保人工智能驱动系统的安全性和可靠性。总体而言，该研究为数据驱动的 EMS 奠定了基础，其应用有望扩展到电网 EMS、工业能源管理系统和其他车辆控制系统等领域，对推动电动汽车行业的发展具有重要意义。
