电力系统市场驱动频率控制的分布式稳定性保障强化学习研究

《CSEE Journal of Power and Energy Systems》：Distributed stability-guaranteed reinforcement learning for the market-driven frequency control in power systems

本文针对高比例可再生能源并网导致的频率控制挑战，提出一种分布式非线性控制器，将广义纳什均衡寻求与暂态性能优化相结合。研究构建了满足单调性条件的神经网络控制策略，并开发分布式稳定性保障多智能体深度确定性策略梯度（DSG-MADDPG）算法优化控制器参数。在IEEE 68节点系统的验证表明，该方法能有效恢复系统频率至额定值，同时引导系统达到市场均衡，显著改善暂态过程性能。

　　

随着分布式可再生能源的快速增长，电力系统正面临新的挑战。由于可再生能源的大规模接入，系统惯量显著降低，功率波动加剧，给频率稳定带来严峻考验。传统频率控制采用分层策略：上层为经济调度（ED），负责分钟级的最优发电计划；下层为自动发电控制（AGC），负责秒级的频率偏差调节。然而，可再生能源的波动性使得ED和AGC之间的时间尺度差距导致系统遭受经济损失。

更为复杂的是，现代电力市场中的发电机组属于不同利益主体，其非合作特性使得传统集中式控制方法不再适用。现有研究虽在结合电力市场与频率控制方面取得进展，但大多仅关注稳态均衡点，未考虑频率和发电波动等暂态过程性能。强化学习（RL）虽能优化暂态性能，但缺乏理论稳定性保证，限制其实际应用。

针对上述问题，上海交通大学李明、王昭建等研究人员在《CSEE Journal of Power and Energy Systems》发表论文，提出一种市场驱动的分布式控制方法。该方法不仅能渐近稳定地引导系统至广义纳什均衡（GNE），还通过强化学习优化暂态性能。研究首先设计分布式非线性控制器，将广泛使用的线性控制函数扩展为一般单调函数。然后构建基于神经网络的控制策略，满足单调性条件以保证稳定性。最后提出分布式稳定性保障多智能体深度确定性策略梯度（DSG-MADDPG）算法，通过数据驱动方式优化控制器参数。

研究采用的主要技术方法包括：1）基于李雅普诺夫稳定性的非线性控制器设计；2）满足单调性条件的神经网络构建技术；3）分布式多智能体强化学习算法；4）IEEE 68节点系统仿真验证。这些方法确保了控制器在保证稳定性的同时，能有效优化暂态性能。

控制器设计与稳定性分析

研究人员设计的新型控制器包含六个动态方程，其中控制输入u_i通过单调函数U_i(s_i)生成。通过构造李雅普诺夫函数，严格证明了闭环系统渐近收敛于变分广义纳什均衡（v-GNE）。特别地，当系统达到稳态时，所有母线频率恢复至额定值（ω_i^*=0），且满足功率平衡条件∑_i=1ⁿ(u_i^*-P_i)=0。

暂态性能优化

为改善暂态过程，研究构建了基于ReLU算子的单调神经网络g_i(s_i)，将其分解为正负两部分分别设计。通过参数化表示确保函数严格递增且满足 Lipschitz 连续性。DSG-MADDPG算法采用分布式框架，各智能体仅需本地及邻域信息进行训练，避免了传统多智能体强化学习的非平稳性问题。

案例验证

在IEEE 68节点系统中的仿真表明：1）线性控制器能有效恢复频率并收敛至GNE，但暂态性能有待改善；2）饱和线性函数可处理硬约束，确保输入始终不越限；3）单调神经网络控制器（d=20）相比线性控制器损失降低约9%，且训练效率相当；4）DSG-MADDPG算法较粒子群优化（PSO）和遗传算法（GA）能获得更优的暂态性能。

该研究的重要贡献在于：首次将广义纳什均衡寻求与暂态性能优化相结合，扩展了控制器设计灵活性；提出的DSG-MADDPG算法兼具分布式特性和模型无关优势，为大规模电力系统应用提供新思路。未来工作将重点研究噪声和参数不确定性下的系统鲁棒性，进一步提升方法的工程适用性。

i^h(s_i) and linear function U_i(s_i)'>

i^hand linear function U_i'>