基于强化学习的可扩展量子网络纠缠路由方案RELiQ

《IEEE Transactions on Communications》：RELiQ: Scalable Entanglement Routing via Reinforcement Learning in Quantum Networks

本文针对量子网络中纠缠路由的高动态性和概率性操作等挑战，提出了一种基于强化学习的分布式路由框架RELiQ。该研究通过图神经网络学习局部图表示，仅依赖本地信息和迭代消息交换即可实现高效路由。实验表明，RELiQ在随机图和真实拓扑中均优于现有启发式算法，且对拓扑变化响应迅速，为量子网络的实际部署提供了新思路。

　　

随着量子计算和量子传感技术的飞速发展，分布式量子计算和联邦量子机器学习等应用日益成熟，量子网络作为支撑这些应用的关键基础设施正受到广泛关注。量子网络的核心任务是通过量子中继器实现远距离节点间的纠缠态分发，但由于量子态不可克隆的特性以及量子操作的概率性，传统网络中的路由方案无法直接适用。更棘手的是，量子链路的保真度会随时间衰减，量子存储器的相干时间有限，加之纠缠交换操作会进一步降低最终纠缠态的保真度，这些因素使得设计高效的纠缠路由策略变得极具挑战性。

现有启发式方法往往需要全局网络拓扑信息，但量子链路的动态变化导致全局信息容易过时，反而会误导路由决策。而仅依赖局部信息的方法又难以获得理想性能。为此，来自达姆施塔特工业大学和IMDEA网络研究所的研究团队在《IEEE Transactions on Communications》上发表了RELiQ方案，提出通过多智能体强化学习与图神经网络相结合的方式，实现仅基于局部信息的可扩展纠缠路由。

研究团队设计了一个包含两个阶段的量子网络模型：第一阶段节点与邻居建立最大数量的基本链路；第二阶段智能体遍历网络为源-目的对规划纠缠路径。RELiQ的核心创新在于采用基于内容的寻址机制，使每个中继器通过迭代消息交换构建全局图表示，而无需预先了解物理拓扑。智能体的观察包含本地监控信息和GNN输出，动作空间为选择相邻边扩展路径，奖励函数则直接关联端到端纠缠的保真度。

关键技术方法包括：1）构建含衰减模型的量子网络仿真环境，模拟基本链路建立和纠缠交换过程；2）设计基于GNN的多智能体强化学习框架，实现分布式决策；3）采用内容寻址和消息传递机制，使系统适应不同节点度的拓扑变化。

系统设计

RELiQ将量子网络建模为图G_Q=(V, E_Q)，节点配备量子存储器，边对应可用的基本链路。智能体通过GNN迭代聚合邻居信息，动态更新网络状态表示。与现有基于标识符寻址的方法不同，RELiQ采用目标节点标识（是否为当前源-目的对的终点）作为输入，显著提升了对真实拓扑的适应性。

训练与对比

训练结果表明，RELiQ在1500万步训练后稳定收敛，而传统的DQN、PPO及DQN+GNN方法因观测空间过大或泛化能力不足而性能不佳。在随机图和真实拓扑上的测试显示，RELiQ在纠缠分发率(EDR)和保真度方面均优于六种启发式算法。

性能分析

随网络规模扩大，RELiQ的EDR从10节点的约50提升至1000节点的约200，显著优于依赖全局信息的Q-PATH和Q-LEAP算法。在多源-目的对场景下，RELiQ通过协同训练智能体有效缓解资源竞争。此外，研究还评估了衰减常数、初始保真度、门保真度异质性及退耦脉冲数对性能的影响。RELiQ在衰减常数α=0.15-0.25 dB/km、初始保真度0.8-1.0、门保真度标准差0.1-0.2等参数范围内均保持稳定优势。

真实拓扑验证

在Cost266、德国、欧盟等真实网络拓扑中，RELiQ的EDR和平均保真度多数情况下最优。例如在UK拓扑中EDR达228.9，保真度87%；在波兰拓扑中保真度达85%。仅在少数高连通性拓扑中（如UK和York），NoNLBER因链路丰富而表现相当，但RELiQ仍保持更高的保真度。

开销评估

RELiQ每个中继器每步发送32浮点数消息，按10ms步长计算，每源-目的对链路负载仅409.6kbps。计算方面，分布式架构使单个中继器负载与网络规模无关，1000节点时推理时间仍低于集中式算法。

研究结论表明，RELiQ首次实现了仅依赖局部信息的量子纠缠路由，其基于强化学习的框架能动态适应网络变化，无需重训练即可泛化至不同拓扑。相比全局信息算法，RELiQ避免了信息过时问题，而相比传统局部算法，其通过GNN有效捕获了网络状态。该研究为量子网络的路由协议设计提供了新范式，未来可扩展至多部纠缠和显式蒸馏决策等场景。