利用混合动作空间强化学习优化可再生能源系统：以日本实现净零能耗为例的研究

《Renewable Energy》：Optimizing renewable energy systems with hybrid action space reinforcement learning: A case study on achieving net zero energy in Japan

净零能源建筑优化中提出参数化动作空间强化学习框架，通过整合离散（生物质发电机启停）和连续（光伏出力、电池充放电率）动作空间，在真实建筑数据集上验证，离网性能提升4.6%，电池安全运行时间增加90%，且计算效率优于传统离散化方法。

　　### 本文解读

本文围绕可再生能源系统的优化问题展开研究，旨在通过强化学习（Reinforcement Learning, RL）技术，提升零能耗建筑（Net-Zero Energy Buildings, NZEB）的运行效率与安全性。研究聚焦于如何应对混合动作空间（Mixed Action Spaces）带来的挑战，通过引入参数化动作空间（Parameterized Action Space, PAS）概念，构建了一种新的强化学习框架，从而实现对多种可再生能源设备的统一优化控制。这项研究不仅在理论层面提供了新的思路，还在实际案例中进行了验证，证明了该方法在提升系统性能与降低计算成本方面的显著优势。

#### 背景与意义

建筑行业是全球碳排放的重要来源之一，大约贡献了30%的总碳排放量。因此，如何将可再生能源与建筑能源系统（Building Energy Systems, BES）进行有效整合，成为实现碳中和目标的关键。在实际操作中，建筑能源系统通常涉及多种能源设备，如太阳能光伏（Photovoltaic, PV）、生物质发电（Combined Heat and Power, CHP）以及电池储能系统（Battery Energy Storage, BES）。这些设备在运行过程中，需要在不同的时间尺度上实现供需平衡，以确保电网的稳定性。然而，由于可再生能源的间歇性特点，其发电量往往受天气条件影响，这种不确定性给系统优化带来了重大挑战。

零能耗建筑是指在一年内，建筑所消耗的能源不超过其产生的能源，包括本地和外部的可再生能源。然而，在没有电网支持的情况下，这种系统面临更高的运行风险。例如，当可再生能源供应超过需求时，可能会导致电网断开，从而影响建筑的正常运作。因此，研究的重点在于如何通过优化控制策略，动态调整系统内各设备的运行方式，以实现零能耗目标并确保设备的安全运行。

#### 研究方法与创新点

传统方法中，模型预测控制（Model Predictive Control, MPC）虽然在某些场景中表现良好，但其依赖于准确的预测模型和数据，这在实际应用中往往难以实现。相比之下，强化学习作为一种无模型、数据驱动的方法，能够在没有精确系统模型的情况下，通过与环境的互动，直接学习最优控制策略。然而，现有的强化学习算法大多针对单一类型的动作空间，例如离散动作空间（如DQN）或连续动作空间（如DDPG、SAC）。这使得它们在处理混合动作空间（同时包含离散和连续动作）的问题时显得力不从心。

为了解决这一问题，本文提出了一种基于参数化动作空间的强化学习方法，即PA-DDPG算法。该方法通过将离散动作与连续参数相结合，构建了一个统一的Actor-Critic架构，使得系统能够同时优化太阳能发电、生物质发电和电池储能等不同设备的运行策略。在实际应用中，该方法的显著优势在于它能够在不增加额外计算负担的情况下，实现对复杂系统的高效优化。

#### 实验设计与结果分析

研究采用了日本茨城的一座实际办公楼作为案例，其能源系统包括太阳能光伏、生物质发电和电池储能。通过分析该建筑的实时数据，研究人员构建了包含七维状态空间的强化学习模型。状态空间包括当前时间、工作日与非工作日的区分、电力需求、太阳能发电潜力以及电池状态等。为了提升算法的收敛速度，所有状态变量均被归一化到[-1, 1]范围内。

在动作空间的设计上，研究人员采用了混合策略。例如，生物质发电的开关状态为离散动作，而太阳能发电和电池充放电速率则为连续动作。为了验证该方法的有效性，研究设计了四种不同的控制策略，包括传统基线控制（M.0）、基于离散到连续映射的基线强化学习（M.1和M.2）以及基于参数化动作空间的两种新方法（M.3和M.4）。其中，M.1采用TD3算法，将连续动作映射为离散控制；M.2则采用A2C算法，将原始的连续动作空间离散化。相比之下，M.3和M.4分别采用P-DQN和PA-DDPG算法，能够更有效地处理混合动作空间。

实验结果显示，M.3和M.4在多个关键指标上优于传统方法。其中，M.4（PA-DDPG）在实现零能耗目标方面表现出最佳性能，其平均离网运行误差比基线控制降低了4.6%。同时，电池运行在安全范围内的时长增加了90%以上，显著提升了系统的灵活性和安全性。此外，M.4的训练时间仅为基线方法的10%，进一步凸显了其在实际应用中的高效性。

#### 实际应用与未来展望

本文的研究不仅在理论层面提出了新的优化框架，还在实际案例中进行了验证，证明了该方法在复杂建筑能源系统中的可行性。通过使用真实测量数据，研究人员避免了对模拟环境的依赖，使得结果更具现实意义。此外，该方法在保持系统灵活性的同时，确保了电池运行的安全性，这对于实现零碳建筑目标至关重要。

研究还指出，未来的工作将集中在两个方向：一是探索奖励函数中不同权重对优化结果的影响，以提高强化学习的可解释性；二是研究更复杂的混合动作空间场景，尝试通过单代理或单次训练过程解决这些挑战。此外，研究人员计划在实际建筑中验证该算法，以进一步推动其在工程实践中的应用。

#### 总结

本文通过引入参数化动作空间的概念，成功解决了混合动作空间强化学习中的关键问题，为建筑能源系统的优化提供了新的思路。所提出的PA-DDPG算法不仅在提升零能耗建筑的运行性能方面表现出色，还有效减少了计算负担，具有较高的工程应用价值。未来的研究将进一步拓展该方法的应用范围，探索其在更复杂场景下的表现，并推动其在实际建筑中的落地实施。