联邦学习：一项关于保护隐私的协作智能调查-计算机科学-分布式机器学习.pdfVIP

1

联邦学习：一项关于保护隐私的协作智能

调查

NusratJahan,RatunRahman,MichelWang

DepartmentofComputerEngineering,ArizonaStateUniversity,Arizona,USA.

DepartmentofElectricalandComputerEngineering,TheUniversityofAlabamainHuntsviille,USA.

摘要—联合学习（FL）已成为分布式机器学习领域的一种执行聚合操作，通常使用联邦平均（FedAvg），迭代地

变革性范式，使多个客户端——如移动设备、边缘节点或组织更新全局模型[4]。

——能够在不集中敏感数据的情况下协作训练一个共享的全局

FL迅速从其最初的范围——主要涉及跨设备场景

本模型。这种去中心化的方法解决了围绕数据隐私、安全和监管合

译规性的日益增长的关注点，使其在医疗保健、金融和智能物联网中的移动设备——发展到更复杂、结构化的环境，如跨

中系统等领域特别有吸引力。本调查提供了一个简洁而全面的联孤岛学习，在这种环境中，医院、银行或大学等机构协

合学习概述，从其核心架构和通信协议开始。我们讨论了标准的作训练敏感数据集上的模型[5]。这两个类别提出了截

2

vFL生命周期，包括本地训练、模型聚合和全局更新。特别强调然不同的挑战。跨设备FL必须应对大规模的、不可靠

3了一些关键技术挑战，如处理非IID（非独立同分布）数据、缓的和计算能力有限的客户端的问题，而跨孤岛FL则强

0解系统和硬件异构性、减少通信开销并通过差分隐私和安全聚合

7调少数但更强大的客户端之间的安全性、信任和统计异

7等机制确保隐私。此外，我们还考察了联合学习研究中的新兴趋

1势，包括个性化FL、跨设备与跨仓库设置以及与其他范式的集质性问题[2]。

.

4成，如强化学习和量子计算。我们还强调了实际应用，并总结了联邦学习中一个最紧迫的技术挑战是客户端间存

0在FL研究中常用的基准数据集和评估指标。最后，我们概述了

5在统计异质性或非IID（非独立同分布）数据。由于每

2开放的研究问题和未来方向，以指导可扩展、高效和可信的联合个客户端的数据可能在不同的分布下生成——这归因

:

v学习系统的开发。

i于地理、人口统计学或时间上的差异——传统的集中式

x

rI.介绍学习假设通常不适用于联合设置[1],[6]。这种异质性会

a

显著降低收敛速度和模型准确性，因此需要稳健的聚合

近年来，机器学习（ML）的格局因智能手机、可

策略、个性化学习技术和客户端聚类机制[7],[8]。

穿戴设备、自动驾驶汽车和智能传感器等边缘设备产生

的数据爆炸性增长而迅速转变。这些设备每天共同生成此外，FL必须应对系统级别的异质性，其中客户

数千万亿字节的数据，为训练智能系统[1],[2]提供了端设备在计算能力、内存、电池寿命和网络连接方面

丰富且有价值的信息来源。然而，由于多种限制，将此[9]各不相同。已经提出了异步训练、部分参与和客户端

类数据集中到云服务器进行模型训练变得越来越不切