分布式生成式强化学习在高度动态的无人机群网络中用于稳定服务功能链的编排

《IEEE Transactions on Vehicular Technology》：Distributed Generative Reinforcement Learning for Stable Service Function Chain Orchestration in Highly Dynamic UAV Swarm Networks

无人机集群网络在灾害救援、农业及智能交通等领域的应用日益广泛，其动态特性对SFC编排提出新挑战。传统中心化SFC编排难以适应无人机自组织架构，本文提出分布式决策变换器与强化学习（DDTAC）算法，通过生成式强化学习捕捉动态特征，结合注意力机制优化VNF编排策略，实验证明其具有低计算开销和快速收敛优势。

　　

摘要：

近年来，无人驾驶飞行器（UAV）群体网络的应用范围大幅扩展，涵盖了灾难救援、农业生产、智能交通等多个领域。随着这种快速的发展，确保UAV群体网络能够适应性地分配资源以满足多样化的服务需求变得越来越重要。为了解决这一挑战，服务功能链（SFC）技术应运而生。具体而言，SFC编排旨在提供一种灵活高效的方法来嵌入序列化的虚拟网络功能（VNFs），从而实现定制化的服务需求。然而，传统的SFC编排方法依赖于中央控制器来生成编排策略。由于UAV群体网络本质上是扁平且自组织的，因此部署中央控制器并不现实。在本文中，我们提出了一种用于高度动态UAV群体网络中SFC编排的分布式生成强化学习（GRL）方法。该方法采用点对点的分布式方案，避免了全局遍历，从而降低了计算开销并加快了收敛速度。在此基础上，我们进一步提出了一种基于分布式GRL的算法，称为分布式决策变换器演员评论家（DDTAC）算法。该算法将决策变换器网络与演员评论家网络相结合。决策变换器利用其生成学习能力提取历史局部网络特征，并构建基于上下文的轨迹注意力特征；而演员评论家框架则利用这种注意力特征自适应地生成VNFs的嵌入策略。通过上述组件的结合，所提出的算法能够有效捕捉UAV群体网络的高度动态特性，形成稳定的SFC编排策略。实验结果证明了我们提出算法的有效性。

显示更多

引言

在过去十年中，无人驾驶飞行器（UAV）群体网络受到了研究人员和行业专家的广泛关注[1]。UAV群体网络具有远程访问、快速响应和成本效益高的优势，因此被广泛应用于各种领域（如灾难救援、农业生产、智能交通等）。随着UAV群体网络的不断扩展和成熟，满足特定应用的服务差异化需求变得越来越重要。