编辑推荐：
传统联邦学习（FL）存在统计异质性、收敛慢等问题。研究人员开展了基于分层联邦学习（HFL）的研究，提出三种方法。结果显示，复杂模型准确率从 18.10% 提升到 76.91%，性能优于现有模型。该研究为 FL 发展提供新方向。
在当今数字化时代，数据如同宝藏，蕴含着巨大的价值。机器学习（ML）作为挖掘这些宝藏的有力工具，正广泛应用于各个领域。然而，在模型训练过程中，数据隐私保护成为了一个棘手的难题。传统的集中式机器学习要求将数据集中到一个中心服务器进行模型训练，这使得数据隐私面临严重威胁。联邦学习（Federated Learning，FL）应运而生，它允许在分布式设备间协同训练模型，同时保护训练数据的隐私。但 FL 并非完美无缺，它存在着诸如统计异质性、多次昂贵的全局迭代、因数据不足导致的性能下降以及收敛缓慢等问题。这些问题就像一道道屏障，阻碍着 FL 发挥更大的作用。
为了突破这些屏障，研究人员开启了深入的探索之旅。虽然文中未提及具体研究机构，但他们针对 FL 存在的问题，开展了基于分层联邦学习（Hierarchical Federated Learning，HFL）的研究，提出了三种创新性的方法。研究结果令人瞩目，复杂模型的准确率从 18.10% 大幅提升到 76.91%，收敛速度更快，并且性能优于当前最先进的模型。这一研究成果发表在《Future Generation Computer Systems》上，为 FL 的发展开辟了新的道路，在保护数据隐私的同时，显著提升了模型的训练效果，具有重要的理论和实践意义。
研究人员在研究中运用了多种关键技术方法。首先是 HFL，它在传统 FL 的基础上引入了边缘服务器进行部分聚合，减少了与中央服务器的通信成本。其次是迁移学习（Transfer Learning，TL），利用在相关领域数据集上预训练的权重作为初始全局模型，让模型在本地设备训练时无需从头开始，加快了训练速度。然后是引入个性化层，在 HFL 架构中增加了客户端特定层、边缘特定层和全局共享层，以应对非独立同分布（Non-Independent and Identically Distributed，NIID）数据带来的统计异质性问题。最后是拆分学习（Split Learning，SL），将模型的层划分为客户端和云服务器两部分，客户端仅将提取的特征发送给服务器，实现了计算负载的分布。在实验中使用了 CIFAR10 数据集和 ResNet 模型。
基于迁移学习的 HFL（HFL with Transfer Learning）
研究人员提出将迁移学习与 HFL 相结合。在实际训练中，使用在相关领域数据集上预训练的权重作为所有参与客户端的初始全局模型。这样一来，模型在本地设备开始训练时，就已经对任务有了一定的了解，而不是从零开始。实验结果表明，这种方法有助于减少分布式设备达到收敛所需的通信轮数，缩短神经网络模型的训练时间，提升模型性能，促进快速收敛，并降低新数据的泛化误差。特别是在客户端缺乏足够本地数据训练大型深度学习模型的情况下，迁移学习能够有效缓解性能问题。
具有个性化层的 HFL（HFL with Personalized Layers）
针对 NIID 数据分布导致的统计异质性问题，研究人员在现有 HFL 架构中引入了三种层：客户端特定层、边缘特定层和全局共享层。客户端特定层允许每个客户端仅基于本地数据学习独特的表示，使模型能够适应个体客户端的数据分布，在数据高度 NIID 的情况下，很好地保留客户端特定特征和偏好，提升本地推理任务的效果。边缘特定层位于客户端和服务器之间，当同一边缘下的客户端数据分布部分相似时，聚合它们的中间层可以实现相关客户端之间有益的知识转移，在尊重不同边缘间本地异质性的同时，提高边缘内的泛化能力。全局共享层负责学习所有客户端共有的广义表示，其在云级别进行聚合，确保整个网络能够保留协作学习的优势，促进学习过程的收敛和稳定，并在高度多样化的数据集上进行基本的标准特征提取。通过实验验证，这种分层架构在处理 NIID 数据时，显著提升了模型性能。
结合拆分学习的 HFL（HFL with Split Learning）
研究人员还将拆分学习与 HFL 相结合来训练位于云端的分类器。在训练过程中，客户端的最后一层仅将提取的特征传播到服务器，云服务器利用这些特征继续进行前向传播。这种协作训练方式不仅将计算负载从客户端分配到了服务器，还维护了数据隐私，因为客户端仅进行部分训练并分享提取的特征。实验结果表明，这种方法能够有效提升整体性能，在独立同分布（Independent and Identically Distributed，IID）数据下，模型最高准确率可达 82.38%，在 NIID 数据分布下，准确率也能达到 52.16% 。
研究人员提出的三种基于 HFL 的方法有效地解决了传统 FL 存在的问题。通过使用迁移学习，加快了模型收敛速度，减少了训练时间；引入个性化层，成功应对了 NIID 数据带来的统计异质性挑战，提升了模型在不同客户端数据上的性能；结合拆分学习，实现了计算负载的合理分布，提高了整体性能，同时保护了数据隐私。这些成果为联邦学习的发展提供了新的思路和方法，在未来的人工智能和数据隐私保护领域具有广阔的应用前景，有望推动相关技术进一步发展，让机器学习在保障数据隐私的前提下更加高效地服务于各个行业。
