基于因果干预的联邦学习长尾分布优化算法：CRePA与FedLT-CI模型研究

本文提出创新性算法CRePA（客户端重加权先验分析器）和FedLT-CI（联邦长尾因果干预模型），通过蒙特卡洛采样动态分配权重（CRePA）和Pearl因果干预（FedLT-CI），有效解决联邦学习（FL）中数据异质性（Non-IID）和全局长尾分布（Fed-LT）问题。实验显示在CIFAR-10/100-LT数据集上，CRePA使尾部数据性能提升6.3%（vs CReFF），FedLT-CI进一步优化FedAvg等基线模型尾部性能达4.5%，同时降低通信开销。

　　

Highlight

联邦学习（FL）中客户端数据的异质性和由此产生的服务器端长尾分布（Fed-LT）问题已成为算法设计的核心挑战。本文通过两种创新模型提升尾部性能：CRePA通过尾部/非尾部梯度信息动态学习客户端权重先验分布（图2）；FedLT-CI基于Pearl的do-算子量化客户端梯度对尾部性能的因果效应（图4），显著提升模型可解释性。

The heterogeneity and long-tail problem in federated learning

FL允许客户端在隐私约束下进行分布式协同训练，但实际应用中客户端数据在数量、特征和标签分布上通常呈现非独立同分布（Non-IID）。这种异质性导致局部优化方向偏离全局最优，产生"客户端漂移"问题——当各客户端对尾部类别（如罕见病）数据持有量差异显著时，全局模型性能会严重退化。

Preliminaries

假设K个客户端中，每个客户端k的数据分为尾部（D_t^k）和非尾部（D_nott^k）类别。FL目标是通过多轮迭代实现全局模型收敛，但传统方法忽略客户端对尾部数据的因果影响差异。

Problem description

在客户端数据分布完全不同的情况下，我们开发的全局因果干预模型需满足：(i) 训练过程不共享原始数据，(ii) 迭代中能估计各客户端对尾部性能的因果贡献。

Convergence analysis

定理1 在假设1-2成立条件下，CRePA以O(1/T)速率收敛。具体上界为：E[L(θ_T)]?L ≤ 4/(μ(T+λ))·(Q/μ + L(E[L(θ₀)]?L))，其中Q=1/2η₀E²L²G²。

Experimental setup

基线模型：针对数据异质性选择FedAvg和FedProx；针对长尾学习选择CReFF、GCL-loss等。数据集：在CIFAR-10/100-LT（IF=100）和PTB-XL心电图数据上验证，严重不平衡设置（α=0.1）下FedLT-CI使FedAvg尾部性能提升4.5%。

Conclusion

本文提出的CRePA通过划分梯度信息实现客户端权重在线学习，FedLT-CI则通过因果干预增强尾部性能。两者在保持非尾部数据表现的同时，为FL中的长尾问题提供可解释解决方案。