基于变分自编码器辅助竞争者行为学习的电力市场深度强化学习战略竞价研究

本文提出了一种创新的深度强化学习（DRL）框架，通过结合变分自编码器（VAE）和密度聚类（DBSCAN）方法，动态学习电力市场中竞争者的报价行为，并构建考虑价格-电量多维动作的双层优化模型。研究采用模仿学习增强的DRL算法，在IEEE-30总线系统中实现24.25%的平均利润提升，为复杂市场环境下的战略竞价提供了兼具适应性和鲁棒性的解决方案。

　　

Highlight

本研究开发了基于变分自编码器（VAE）和密度聚类（DBSCAN）的竞争者行为学习框架，结合深度强化学习（DRL）解决电力市场战略竞价问题。通过构建价格-电量对的双层优化模型，并采用模仿学习增强的DRL算法，在动态市场环境中实现了显著利润提升。

Strategic bidding model

电力现货市场主要包括竞价和出清两个过程。在竞价阶段，发电商根据市场规则和机组特性提交密封报价；随后独立系统运营商（ISO）执行市场出清计算，返回节点边际电价（LMP）和出清电量。

Framework of competitors behavior learning

为克服忽略竞争者报价的缺陷，本研究开发了数据驱动的竞争者行为学习框架，包含标准化、学习和生成三个主要步骤，通过VAE-DBSCAN方法从历史数据中提取竞争者报价特征。

Deep reinforcement learning-based solution

基于马尔可夫决策过程（MDP），结合模仿学习（IL）和深度确定性策略梯度（DDPG）算法，构建了DRL解决方案，提升了复杂动作空间中的训练稳定性和收敛性。

Case studies

在IEEE-30总线系统的测试中，VAE-DBSCAN生成的报价曲线与历史数据功率分布差异小于0.1%，验证了方法的有效性。

Conclusion

本文提出的VAE-DBSCAN-DRL框架，通过整合竞争者行为和价格-电量对的多维动作，显著提升了发电商在动态市场环境中的竞价策略性能。