面向非平稳环境的分布式零阶优化：H?lder平滑问题与未知有界噪声下的跟踪分析

《IEEE Access》：Zero-Order Distributed Non-Stationary Optimization for H?lder-Smooth Problems with Unknown–But–Bounded Noise

本文针对梯度信息不可用或计算成本高昂的时变网络化系统，研究分布式优化问题。作者提出一种基于同时扰动随机逼近(SPSA)的分布式共识算法，在梯度仅满足H?lder连续性的松弛正则性假设下，解决了非平稳目标函数在重尾噪声和动态通信拓扑下的跟踪难题。理论分析给出了期望跟踪误差的显式界，并确定了恒定步长操作下稳定性的关键阈值条件。该研究为噪声时变环境下的梯度自由分布式跟踪提供了理论保证和实用调参指南。

　　

随着大规模网络化系统从传感器阵列、机器人集群到智能电网和联邦学习平台的扩展，分布式控制和优化方法近年来受到广泛关注。在这些场景中，每个智能体仅拥有局部信息，且只能与有限数量的邻居直接通信。经典共识范式确保通过迭代的邻居交换，智能体最终能收敛到共同值。当扩展到优化问题时，智能体通过局部梯度或次梯度更新来协同最小化全局成本函数。

尽管取得了显著进展，现代应用仍面临三个核心挑战：首先，梯度信息可能无法获取或计算成本过高，例如在黑箱模拟、强化学习或隐私敏感的联邦系统中；其次，真实环境本质上是非平稳的——操作条件漂移，优化器本身也随时间演化，这需要能够跟踪移动最优点的恒定步长方法；第三，许多实际相关的损失函数仅满足H?lder连续梯度而非Lipschitz连续性，这一特性使标准收敛证明失效，亟需开发新的分析工具。

传统收敛分析通常依赖于Lipschitz平滑梯度和次高斯噪声，这些假设要求轻尾扰动且具有有限方差。然而，重尾噪声——源于异常值、脉冲测量或突发通信——可能显著改变系统行为，并使二次风险不适定。将常用的?²损失替换为p-范数损失(p<2)可以在有限p阶矩下实现适定的风险最小化，并自然导致H?lder连续梯度。弱平滑性与重尾鲁棒性之间的这种联系构成了本工作的理论基础。

在实际分布式和信息物理系统中，通信噪声不仅来自随机扰动，还可能源于不可靠链路、丢包和人为干扰。这些效应在电力系统中由拒绝服务(DoS)引起的通信中断、分布式发电网络中的丢包机制以及影响广域监测基础设施的网络攻击研究中已有充分记载。本文模型中，这些现象通过通信信道中的未知有界扰动项来表示，既捕捉了随机和故意引入的数据失真，又与收敛分析中使用的假设保持一致。

本研究通过联合解决三个迄今仍被孤立对待的维度，与先前研究分道扬镳：(i)通过零阶Oracle实现梯度自由优化；(ii)非平稳和时变网络化环境；(iii)服从重尾和未知有界噪声的H?lder平滑目标。从实践角度看，将平滑性假设从Lipschitz情形(ρ=2)松弛到更一般的H?lder regime(ρ<2)在分布式和噪声环境中具有显著优势。在许多实际系统中，梯度信息受重尾扰动、传感器异常值或间歇性通信噪声的影响，这违反了Lipschitz条件所隐含的二次可积性。在H?lder连续性下，局部正则性要求被弱化，使得算法即使在梯度不规则变化或出现大幅波动时也能保持稳定。这使得该方法对重尾或非高斯噪声以及可能并非处处平滑的异构局部目标函数具有内在更强的鲁棒性。

本研究提出了一种结合同时扰动随机逼近(SPSA)和共识机制的分布式零阶优化算法。每个智能体通过随机扰动向量生成两个测量点，利用函数值差异估计方向导数，并结合邻居信息进行共识更新。理论分析表明，当步长满足特定阈值条件时，算法能有效跟踪时变最优解，且跟踪误差有明确上界。

研究采用Lyapunov函数基于p-范数距离进行理论分析，得到了将弱平滑性、漂移、Oracle噪声和通信可变性效应分离的显式界。通信模型考虑了具有加性信道噪声和每个智能体通信预算的随机时变图，捕捉了现实分布式网络的特点。

实验部分通过多种拓扑和噪声机制的综合验证，证实了理论阈值条件，并为稳定跟踪提供了实用调参指导。结果表明，较强的非平稳性会缩小允许的步长范围，而所提出的算法在重尾噪声和时变通信下仍保持稳定性能。

主要技术方法包括：1)分布式同时扰动随机逼近(SPSA)共识算法，使用随机扰动向量进行梯度估计；2)基于局部投票协议(LVP)的共识机制，处理时变有向图上的协调问题；3)Lyapunov稳定性分析，基于p-范数距离建立跟踪误差界；4)考虑加性信道噪声和通信预算的随机时变图模型；5)在H?lder连续性假设下分析算法性能，涵盖?_ρ^ρ损失等鲁棒损失函数。

算法设计与实现

提出的SPSA共识算法在每个迭代步中，智能体通过生成随机扰动向量Δ_kⁱ，在正负两个方向扰动当前估计值，并获取对应的噪声函数值。利用两点测量值之差构造随机梯度估计，结合邻居信息的加权平均进行共识校正。算法采用恒定步长α和共识增益γ，平衡优化跟踪与网络一致性。在向量化形式下，算法更新可清晰揭示局部随机扰动与图拉普拉斯矩阵所表征的全局网络结构之间的耦合关系。

理论分析结果

理论分析得到了期望跟踪误差的显式上界，揭示了算法性能与系统参数间的定量关系。关键发现是存在稳定性阈值条件μ<1，当步长选择满足该条件时，跟踪误差有界；否则误差可能急剧增大。误差界L可分解为网络连通性与通信噪声、算法与Oracle噪声、非平稳性与漂移三个部分的贡献，为参数调优提供明确指导。

实验验证

实验部分通过三种网络拓扑(r-正则图、环状图、Erd?s-Rényi随机图)和三种噪声模型(高斯、Pareto、对称α稳定Lévy噪声)的系统验证，证实了理论预测的正确性。结果显示，在静态参数和时变参数两种场景下，μ指标与实证性能高度一致：当μ(α)超过1时，跟踪误差急剧上升；而在μ(α)<1的步长范围内，可通过调参获得满意的跟踪精度。特别地，目标漂移的存在会缩小允许的步长范围，表明非平稳性增强了算法稳定性与响应性之间的权衡。

与基线方法对比

与NeurIPS基线方法DZOO的对比实验表明，在正弦漂移和随机游走两种非平稳场景下，本文提出的DSPSA算法在 transient适应速度和稳态性能方面均具优势。在随机游走场景中，DSPSA表现出更持续的适应能力，保持较低的跟踪误差；而在正弦漂移场景中，其累积误差更小，反映了在趋近低误差状态过程中的更高效率。

研究结论与讨论部分强调，本研究为噪声和H?lder平滑局部目标函数的网络中时变最小点跟踪提供了一种分布式梯度自由算法。理论分析给出了期望跟踪误差的显式界，透明地分离了Oracle噪声、梯度不规则性、网络可变性和目标漂移的贡献。关键的μ条件(7)刻画了恒定步长操作的稳定性：当超过该阈值时，实证误差急剧增加；而选择满足该条件的步长可确保有界的稳态误差。

实际应用启示方面，研究结果表明目标漂移或网络可变性的增加会缩小允许的步长范围，当稳定性优先于响应性时，需要更保守的参数选择。这提示两种互补的策略：(i)使用μ条件作为原则性指南进行步长调优；(ii)当需要更快适应时，采用自适应步长调度、增强智能体间通信以减少共识误差，或结合显式漂移补偿机制。

本研究将分布式优化理论扩展到更一般和实际相关的非平稳环境，为梯度信息不可用或不可靠场景下的协同优化提供了新思路。未来研究方向包括分析高阶图结构对收敛的影响，特别是聚类效应和子图社区的存在可能显著影响收敛速率和可达性能界。此外，研究该方法的可能加速策略，旨在复杂网络拓扑中进一步提高收敛速率，也是值得探索的重要方向。