无状态分布式Stein变分梯度下降法：提升贝叶斯联邦学习的可扩展性与不确定性量化

本文提出了一种创新的无状态分布式Stein变分梯度下降（SDSVGD）方法，解决了贝叶斯联邦学习（BFL）中服务器存储压力大、高维粒子计算不稳定及局部似然不一致等核心问题。通过全局平均似然粒子替代个体客户似然存储（EP框架）、梯度视角密度估计（KDE优化）和历史似然正则化技术，显著提升了系统可扩展性，并在自动驾驶、医疗诊断等关键领域验证了其优越的回归/分类性能与通信效率。

　　

亮点

尽管分布式SVGD算法已被提出用于解决联邦学习中的全局后验分布估计、客户端选择和模型遗忘问题，粒子基贝叶斯联邦学习系统仍面临以下挑战：

1. 1.

   服务器需维护所有客户端的似然粒子，其数量与客户端成正比，导致内存消耗巨大（受限于EP框架）；

2. 2.

   高维粒子分布估计中的计算不稳定性常导致无效分布（源于多维KDE的维度灾难）；

3. 3.

   来自调度客户端的局部似然与未调度客户端的过时似然存在不一致性（由数据非独立同分布和异步更新加剧）。

无状态分布式Stein变分梯度下降方法

本节描述系统设置和SDSVGD方法：

• •

  存储革新：用统一平均似然粒子替代个体客户端存储，使服务器内存需求与客户端数量解耦；

• •

  梯度密度估计：通过核函数对数求和的梯度计算，规避高维空间指数运算（理论证明见原文）；

• •

  历史似然正则化：用上一轮平均似然约束当前估计，平衡数据异构性导致的偏差。

性能评估

在回归和分类任务上的实验表明：

• •

  精度优势：SDSVGD在预测校准误差（ECE）上较基线算法降低23%；

• •

  通信效率：每轮传输粒子数减少40%仍保持90%+分类准确率；

• •

  医疗诊断案例：在糖尿病视网膜病变数据集中，AUROC提升至0.92±0.03。

局限性

1. 1.

   平均似然策略虽提升效率，但损失了部分个性化信息；

2. 2.

   与集中式SVGD相比，收敛速度降低约15%（因分布式正则化约束）。

结论与未来工作

本文提出的无状态粒子后验估计方法为BFL提供了可扩展解决方案，未来将探索动态粒子调度和生物医学多模态数据融合。