针对具有软式开断点、储能单元和电动汽车的主动配电系统，改进了深度强化学习算法以实现频率调节

《Renewable Energy》：Modified deep reinforcement learning for frequency regulation in active distribution systems with soft open points, storage units and electric vehicles

研究提出基于多智能体深度确定性策略梯度（DDPG）的改进控制策略，集成可再生能源、储能设备和电动汽车双向互动，通过优化奖励函数和滤波机制有效降低频率波动与稳态误差，显著优于传统PID和MPC控制方案。

　　随着智能电网概念的深入发展，可再生能源和储能设备的集成已成为实现可持续能源系统的重要手段。这一趋势不仅有助于减少碳排放，还提升了电网的灵活性和适应性。然而，随着电动汽车（EV）普及率的提高，电网面临着日益严峻的挑战，尤其是在高功率充电需求和不可预测的能源来源共同作用下，系统的稳定性和性能受到了考验。因此，设计和应用一种高效的频率调节策略成为当前研究的重点。

智能电网的发展使得传统电网逐渐转变为高度集成的动态系统，这一系统融合了多种元素，包括可再生能源的接入、储能装置的部署、多区域控制网络以及更多创新技术。可再生能源的使用，如太阳能和风能，为减少对化石燃料的依赖提供了可能，但同时也带来了功率质量的问题。而随着电网互联区域的增加，频率偏差的风险也随之上升。此外，系统中引入的不稳定和波动性组件进一步加剧了这些挑战。传统控制方法虽然在某些场景下仍然适用，但其在面对现代复杂电网时显得力不从心，难以满足不断变化的运行条件和日益增长的系统需求。

为了应对这些挑战，研究者们开始探索人工智能技术，特别是强化学习（RL）在电力系统中的应用。强化学习因其在复杂决策问题中的优势，成为解决频率调节和系统优化的有力工具。深度强化学习（Deep RL）结合了神经网络的强大计算能力与强化学习的决策机制，使其能够处理高维状态空间和连续动作空间的问题，从而实现更稳定、更高效的控制策略。然而，早期的深度强化学习方法，如Deep Q Network（DQN），在处理连续动作空间时存在局限，而Deterministic Policy Gradient（DPG）虽然能够应对连续动作空间，但其探索能力较弱，导致实际应用复杂度增加。为了解决这些问题，Deep Deterministic Policy Gradient（DDPG）算法被提出，该算法通过结合Actor-Critic框架，提高了策略学习的效率和稳定性。

在当前的研究中，提出了一种基于DDPG的多智能体深度强化学习控制器。这种控制器采用了分布式实现与集中式训练相结合的方式，使各智能体能够在不依赖通信的情况下，根据自身的状态做出独立决策。为了进一步提升系统性能，对传统控制结构进行了改进，具体体现在每个DDPG智能体的控制动作上。控制动作被调整为与观察值、积分项和微分项相乘，这些调整通过滤波器元件进行整合，从而优化控制效果。此外，每个智能体能够生成多个控制信号，分别用于调节基于涡轮的发电机系统和集成的储能装置。这些信号来源于模型预测控制（MPC）框架中使用的二次优化函数所推导出的奖励函数，相较于传统的分段奖励函数，这种方法能够提供更准确和有效的控制策略。

研究还强调了多终端软开点（SOP）在主动配电网络（ADN）中的重要性。SOP作为一种新型的电力控制设备，被安装在配电网络中频繁访问的位置，以提升系统的可调节性和响应能力。在该研究中，SOP被嵌入氢基储能装置，从而形成了一种新型的混合储能系统。这种系统不仅能够提高电网的灵活性，还能在频率调节和能量交换方面发挥重要作用。此外，研究还引入了车辆到电网（V2G）和电网到车辆（G2V）的概念，通过将电动汽车快速直流充电站集成到模型中，进一步增强了ADN的性能。

为了验证所提出方法的有效性，研究进行了多种模拟实验。实验结果表明，该方法在频率变化率和功率传输波动方面表现出极低的稳态误差，达到×10??量级，同时显著降低了超调和欠调的幅度。这种性能优势使得所提出的控制方案在各种扰动场景下都优于传统的PID、MPC和基本RL控制方法。此外，研究还考虑了多种非线性因素，包括发电机速率限制、死区和信号传播延迟，这些因素在实际系统中对瞬态动态有重要影响。通过引入真实的风力发电数据和太阳能发电数据，研究构建了一个更加贴近实际的分析模型，从而确保了研究结果的准确性和可靠性。

该研究的贡献主要体现在以下几个方面：首先，实现了基于DDPG的多智能体深度强化学习控制器，该控制器通过滤波器元件将观察值、积分项和微分项整合到控制动作中，从而提升了系统的响应能力。其次，奖励函数的设计采用了二次优化函数，使得控制策略能够更好地适应系统的动态变化。第三，通过引入多个智能体，每个智能体能够生成针对不同系统元素的控制信号，增强了系统的多目标调节能力。第四，研究将氢基储能装置与多终端SOP结合，为未来的智能电网提供了新的解决方案。第五，引入了V2G和G2V的概念，使电动汽车在电网频率调节和能量交换中发挥了更大的作用。第六，研究模型包含了具有ADN特性的系统区域，并集成了储能组件和可再生能源源，以提高系统的整体性能。第七，通过引入多种非线性因素和不确定性，以及真实测量数据，研究确保了对实际电网环境的准确模拟。第八，多组实验表明，该方法在不同扰动场景下显著减少了超调和调节时间，同时将稳态误差控制在极小范围内。第九，当使用多终端SOP结合G2V和V2G概念时，ΔF?保持在×10??量级，表明系统具有极高的稳定性。第十，ΔF?在包含可再生能源、真实测量数据和非线性因素的场景中，仍然维持在相似的范围内，进一步验证了该方法的有效性。最后，ΔP_tie在高峰负荷条件下被有效控制，降低了随机系统行为的影响，并确保了功率偏差的稳定性。

为了全面评估所提出方法的性能，研究还构建了一个详细的系统模型。该模型基于非线性特性，整合了储能设备和可再生能源源，并通过实际的风力发电数据和太阳能发电数据进行验证。模型涵盖了多个区域的光伏电站、热力发电机、风力发电场以及各种储能系统。热力发电单元的建模采用了基于一阶传递函数的表示方法，这种表示方式能够准确反映发电机在调节过程中的动态行为。此外，系统模型还考虑了多种非线性因素，包括发电机速率限制、死区效应和信号传播延迟，这些因素在实际电网运行中对频率稳定性和功率传输有重要影响。

在方法论部分，研究详细介绍了所采用的改进型深度强化学习策略。该策略通过多智能体的协作，实现了对多个系统元素的独立调节。每个智能体的控制动作不仅受到其当前状态的影响，还结合了积分和微分项，以提高系统的动态响应能力。同时，奖励函数的设计基于二次优化函数，使得智能体能够根据系统的实际需求调整其行为，从而实现更优的控制效果。此外，研究还探讨了如何在不同的系统配置下应用该方法，包括单输入多输出（SIMO）和多输入多输出（MIMO）系统，以确保其在多种运行条件下的适用性和有效性。

实验结果部分展示了所提出方法在多个方面的优越性。首先，在频率调节方面，该方法能够有效维持频率在可接受范围内，即使在面对随机系统行为和非线性因素时，也能够确保系统的稳定性。其次，在功率传输波动控制方面，该方法能够显著降低超调和欠调的幅度，同时将稳态误差控制在极小范围内。这些结果表明，所提出的控制方案在应对复杂的电网环境时具有更高的适应性和鲁棒性。此外，研究还通过与其他控制方法的对比，进一步验证了其在实际应用中的优势。与传统的PID和MPC控制器相比，该方法在调节时间和稳态误差方面表现出更优的性能，同时在处理随机扰动和非线性因素时也更具灵活性。

为了确保研究的全面性和准确性，作者们还考虑了多种非线性因素和不确定性。这些因素在实际电网运行中可能对系统的动态行为产生显著影响，因此必须在模型中加以体现。通过引入真实的风力发电数据和太阳能发电数据，研究构建了一个更加贴近实际的分析环境，从而提高了实验结果的可信度。此外，研究还模拟了不同的系统配置，包括单输入多输出和多输入多输出系统，以确保所提出方法在多种运行条件下的适用性。

综上所述，该研究提出了一种基于DDPG的多智能体深度强化学习控制方案，用于应对智能电网中日益复杂的频率调节需求。该方法不仅能够有效处理可再生能源和储能设备的集成问题，还能在电动汽车和电网之间的双向能量交换中发挥重要作用。通过引入多种非线性因素和真实测量数据，研究确保了对实际电网环境的准确模拟，从而验证了所提出方法在不同扰动场景下的优越性。实验结果表明，该方法在调节时间和稳态误差方面表现出色，同时在处理随机系统行为和非线性因素时也具有更高的鲁棒性。这些成果为未来的智能电网研究提供了新的思路和方法，同时也为提高电网的稳定性和运行效率奠定了基础。