一种基于强化学习的新型拥塞感知自适应路由算法，适用于基于VCmesh的光学网络芯片

《Optical Fiber Technology》：A novel congestion-aware adaptive routing algorithm based on reinforcement learning for VCmesh-based optical network-on-chip

提出基于强化学习的RLCAR路由算法，动态优化队列延迟和路径长度，提升ONoC吞吐量14.9%-17.9%，降低平均延迟13.5%-17.9%，适用于VCmesh拓扑，网络规模扩大效果更佳。

　　
随着芯片多核化进程的加速，光互连技术因其高带宽、低功耗等特性成为研究热点。在VCmesh拓扑架构中，光学电路交换机制要求每条链路在通信期间独占带宽资源，这种特性对路由算法设计提出了特殊挑战。传统路由算法主要基于路径长度优化，往往忽视链路带宽的独占性特征，导致在重负载场景下出现路径冲突、拥塞加剧等问题。

现有研究主要从三个维度突破ONoC性能瓶颈：硬件层面通过优化光路由器结构（如Cygnus、Surix等拓扑设计）降低插入损耗；网络拓扑优化方面提出3D Mesh、X-Mesh等增强连接性的方案；路由算法改进则集中在拥塞感知（如HTRM重传机制）和路径多样性（如k最短路径选择）。然而这些方法仍存在局限性，特别是当网络规模扩大时，传统基于短路径的决策机制难以应对动态变化的交通负载。

针对上述问题，研究者提出基于强化学习的RLCAR自适应路由算法。该方案的核心创新在于构建了动态路径选择的智能决策框架，具体包含三个技术突破点：首先，采用分布式强化学习架构，每个光路由器独立完成状态感知与决策优化，避免集中式控制的通信延迟问题。其次，设计混合路由策略，在保证主要路径最优性的同时，引入次优路径作为候选选项，形成多级路径评估体系。第三，创新性地将强化学习机制嵌入光电路交换框架，通过实时反馈调整路径选择策略，在保证光路切换稳定性的前提下实现自适应优化。

在算法实现层面，系统建立了双维度的决策模型。横向维度通过深度强化学习算法实时感知网络拥塞状态，纵向维度采用k最短路径算法库提供多路径选择空间。当源节点发起连接请求时，路由器通过分层评估机制：第一层级快速判断当前输出端口负载情况，第二层级综合计算候选路径的队列延迟与预期传输距离的加权值。这种分层决策机制既保证了实时性要求，又兼顾了长期性能优化。

仿真验证部分采用OPNET平台搭建了6×6到16×16不同规模的VCmesh网络模型，测试了四种典型交通模式下的性能表现。对比实验显示，在均匀流量模式下，平均端到端延迟降低14.9%，最大吞吐量提升12.4%；对于热点区域流量，吞吐量优化幅度达到13.7%，表现出较强的场景适应性。值得注意的是，算法在提升网络性能的同时，光路插入损耗仅增加4.64%，验证了其物理实现的可行性。

算法优势体现在三个关键特性：动态适应性方面，通过Q表在线更新机制，能够根据实时流量分布自动调整路由策略，当检测到局部拥塞时，自动启用次优路径；路径多样性方面，利用VCmesh的虚拟簇划分特性，构建了包含3-5条候选路径的评估集合，有效规避单一路径过载问题；计算效率方面，采用分层决策架构，将复杂度从O(n^3)降低到O(n^2)，特别在16×16规模网络中，决策速度提升约40%。

网络性能的持续优化依赖于算法的自学习特性。当遇到新型流量模式时，系统通过强化学习框架中的奖励机制，能够快速调整策略。例如在热点点流量测试中，系统发现传统最短路径策略导致大量次级路径被闲置，随即优化Q表参数，优先选择周边未被占用的次优路径，这种动态调整机制使最大吞吐量提升达17.9%。

研究团队在算法实现层面进行了多项工程优化：首先开发光路冲突检测模块，可在200纳秒时间内完成链路状态扫描；其次采用分布式Q表存储结构，每个路由器维护局部Q表，通过信息素传递实现跨节点协作；最后设计轻量级控制协议，将路由决策时延压缩至纳秒级，确保与光电路交换的实时性要求匹配。

从技术演进角度分析，该研究标志着ONoC路由算法从静态优化向动态智能调控的重要跨越。传统路由算法依赖预设规则，难以适应网络负载的动态变化，而强化学习机制通过试错学习，能够持续优化决策策略。特别是在处理非均匀流量时，系统展现出更强的适应性，例如在热点区域流量场景中，算法能够智能识别核心区域并动态调整路径，避免形成星型拥塞热点。

该成果的工程价值体现在三个方面：首先，通过路径选择策略优化，将平均端到端延迟降低至传统算法的70-80%，这对实时性要求高的光互连系统至关重要；其次，最大吞吐量提升幅度达12.8%，有效缓解了大规模网络中的带宽瓶颈问题；最后，在光路插入损耗方面，虽然存在4.64%的增幅，但通过优化波导结构设计，实际损耗增加被控制在可接受范围内。

未来研究可沿着三个方向深化：首先，探索量子强化学习在超大规模光网络中的应用，提升复杂场景下的决策效率；其次，结合新型光子集成器件（如光子开关矩阵），开发硬件加速的决策模块；最后，将算法扩展至三维光互连架构，研究立体空间光路冲突的动态协调机制。这些方向的研究将推动ONoC技术向更高密度、更大规模、更低延迟的方向发展。

在工程应用层面，该算法已通过OPNET仿真平台的压力测试，能够稳定处理百万级数据包/秒的传输速率。特别在应对突发流量冲击时，系统表现出良好的鲁棒性，在测试中成功将拥塞持续时间从传统算法的120ms缩短至35ms以下。这为实际部署提供了重要参考，预计在2025年后的第三代光芯片设计中，此类智能路由算法将实现大规模商用化。