电力系统市场驱动频率控制的分布式稳定性保证强化学习研究

《CSEE Journal of Power and Energy Systems》：Distributed stability-guaranteed reinforcement learning for the market-driven frequency control in power systems

本文针对高比例可再生能源接入导致电力系统频率控制面临的新挑战，研究团队开展了一项关于市场驱动频率控制与暂态性能优化的研究。他们设计了一种分布式非线性控制器，能够渐近引导系统达到广义纳什均衡(GNE)，并构建了基于单调神经网络的控制策略。进一步提出分布式稳定性保证的多智能体深度确定性策略梯度(DSG-MADDPG)算法优化暂态性能。在IEEE 68节点系统上的仿真验证表明，该方法能有效恢复频率至额定值并寻求市场均衡，同时显著改善暂态过程性能。这项研究为电力市场环境下的频率控制提供了新思路。

　　

随着分布式可再生能源的快速发展，电力系统正面临着前所未有的挑战。这些"绿色能源"虽然环保，却给电网稳定运行带来了新问题——系统惯性降低和功率波动加剧。传统的频率控制采用分层策略：上层是经济调度(ED)，负责计算发电机的最优调度方案；下层是自动发电控制(AGC)，负责调整发电功率以恢复频率偏差。然而，可再生能源的波动性使得ED和AGC之间的时间尺度差距导致电力系统遭受经济损失。

更复杂的是，现代电力市场中的发电机组属于不同的利益主体，它们以追求自身利润最大化为目标，而不考虑社会福利。在这种情况下，传统的集中优化方法不再适用，需要新的控制策略来应对这种非合作特性。现有的市场驱动频率控制研究虽然取得了重要进展，但大多只关注稳态性能，忽视了暂态过程中的频率和发电波动问题。而强化学习(RL)等人工智能方法虽然为性能优化提供了强大工具，却难以提供理论上的稳定性保证，限制了其实际应用。

针对这些挑战，上海交通大学李明、王昭坚等研究人员在《CSEE Journal of Power and Energy Systems》上发表了一项创新研究，提出了一种市场驱动的分布式控制方法，既能引导电力系统达到广义纳什均衡，又能优化暂态性能并保证稳定性。

研究团队采用了几项关键技术方法：首先基于IEEE 68总线系统建立仿真环境，构建了包含发电机节点和负荷节点的测试系统；设计了满足单调性条件的神经网络控制器结构，通过ReLU算子实现分段线性函数逼近；开发了分布式稳定性保证的多智能体深度确定性策略梯度(DSG-MADDPG)算法，采用集中训练分布式执行框架；利用李雅普诺夫直接法进行理论稳定性证明，确保系统渐近收敛到变分广义纳什均衡(v-GNE)。

控制器设计与稳定性分析

研究团队设计了一种非线性控制器，将广泛使用的线性控制函数扩展为一般的单调对应物。控制器包含辅助变量s_i、拉格朗日乘子λ_i和μ_i等，通过动态调节确保系统收敛到v-GNE。理论分析表明，当系统处于平衡状态时，所有节点的频率ω_i^*达到相同值，满足功率平衡条件。

李雅普诺夫稳定性分析证明，闭环系统在满足单调性条件下能够渐近稳定。研究人员构造了包含四部分的李雅普诺夫函数候选V(x)，证明其正定且非增，确保系统状态最终收敛到平衡点。

基于强化学习的暂态性能改进

为提高暂态性能，研究团队构建了满足假设2的单调神经网络控制器。通过ReLU算子实现分段线性函数g_i(s_i)，将其分解为正负两部分，分别用参数κ_i⁺、κ_i^-、β_i⁺、β_i^-表示斜率和转折点，确保函数严格递增。

提出的DSG-MADDPG算法具有三个特点：通过监督学习初始化批评网络；在数据收集期间添加高斯噪声鼓励探索；以分布式方式进行策略更新。与需要系统动态信息的RNN-based RL方法不同，DSG-MADDPG是无模型的，直接基于电力系统收集的数据训练控制策略。

案例研究

在IEEE 68总线系统上的仿真验证了控制器的有效性。研究采用Cournot游戏描述广义纳什游戏，成本函数为f_i(u_i,u_-i)=1/2α_iu_i²-u_iP_r，其中P_r=-a∑_i∈Nu_i为交易价格偏差。

线性控制器仿真表明，提出的控制器能够将频率恢复到额定值，同时将可控发电引导至GNE。带有约束的控制器能在稳态下满足输入约束，而饱和线性函数能处理任何时间都不能违反的硬约束。

DSG-MADDPG算法训练结果显示，单调控制器的性能优于线性控制器，且随着参数d增加，损失呈现下降趋势。与粒子群优化(PSO)和遗传算法(GA)相比，DSG-MADDPG能获得更好的暂态性能，尽管训练时间较长。

研究结论与意义

本研究成功设计了一种市场驱动的分布式频率控制器，能够同时实现电力系统的频率恢复和市场均衡寻求。理论分析证明了闭环系统的渐近稳定性，确保系统状态收敛到v-GNE。提出的DSG-MADDPG算法有效优化了暂态性能，且具有分布式和无模型的优势，适用于大规模系统。

该研究的主要意义在于：扩展了市场驱动频率控制的理论框架，将线性控制函数推广到一般单调函数；提供了具有稳定性保证的强化学习方法，解决了传统RL在电力系统中应用的理论障碍；实现了分布式控制架构，适应现代电力市场的非合作特性。这些创新为高比例可再生能源接入下的电力系统稳定运行提供了重要技术支撑。

未来研究方向包括研究噪声和参数不确定性下的系统稳定性，以增强控制器的鲁棒性。这项工作为电力市场环境下的频率控制开辟了新途径，对推动能源转型和构建新型电力系统具有重要参考价值。