无模型通信的联邦神经进化

《ACM Transactions on Evolutionary Learning and Optimization》：Model-Free-Communication Federated Neuroevolution

联邦学习通过分布式训练保护数据隐私，但需预设网络结构和显式聚合。MFC-NEvoFed创新性地利用神经演化技术，允许客户端运行异构神经网络，通过仅交换本地数据性能实现模型优化，无需参数聚合，安全性显著提升。实验表明该方法在四大数据集上能生成更紧凑的神经网络而不损失性能，且模型结构可解释性更强，适用于医疗健康等敏感领域。

　　

摘要

在过去的几年中，联邦学习（FL）作为一种有效的方法逐渐崭露头角，它能够在保护数据隐私的同时通过计算网络训练神经网络（NNs）。大多数现有的FL方法需要预先定义1）所有客户端上运行的神经网络的架构，以及2）明确的聚合流程。在难以预先定义这些算法细节的情况下，这些因素可能会成为限制。最近，研究人员提出了NEvoFed，这是一种利用客户端上的神经进化（Neuroevolution）技术的FL方法，其中神经网络的结构是异构的，并且聚合过程在客户端端隐式完成。在这里，我们提出了MFC-NEvoFed，这是一种新的FL方法，它不需要将神经网络参数分布到各个网络中，从而提高了安全性。客户端与服务器之间交换的唯一信息是每个模型在本地数据上的表现，这使得无需任何模型聚合即可实现最优的神经网络架构。我们框架的另一个吸引人的特点是，只要在学习阶段模型更新不依赖于输入数据，它就可以与任何机器学习算法一起使用。为了验证MFC-NEvoFed的有效性，我们在四个数据集上对其进行了测试，结果表明与传统的FL方法相比，该方法能够生成结构非常紧凑的神经网络，且性能没有下降。此外，这种紧凑的结构还有助于提高模型的可解释性，这在数字健康等领域尤为重要，因为所测试的数据集就来源于这些领域。