面向无线网络异构性与公平性的三层联邦学习方法研究.pdfVIP

摘要

摘要

随着物联网设备的爆炸式增长，其产生的数据规模较大且类型多样，具备良

好的实用价值。然而在大数据时代下，人工智能技术对私域数据的需求与敏感隐

私数据无法共享之间的矛盾日益凸显。联邦学习由于能在保证用户数据隔离的基

础上进行人工智能模型训练，在一定程度上缓和该矛盾，具备较高的研究价值。基

于云或基站的传统两层式联邦学习往往无法兼具低时延与高性能的特性。三层式

联邦学习虽然缓解了有限频谱资源下客户端的高通信成本问题，但也依然面临着

统计异构性、协作公平性与设备异构性三大挑战，导致全局模型收敛速度较慢的

问题。本文在三层联邦学习的基础上深入研究这三个挑战的解决方法，工作如下：

（1）针对统计异构性带来的收敛速度慢与模型性能差的问题，本文提出了一

种边缘辅助配对的联邦对比学习框架。为了利用边缘服务器向云服务器通信时的

客户端空闲时间，本文引入了边缘端至云端异步更新的方式，并基于模型相似性

对边缘端与客户端进行匹配。为了使本地训练提取到个性化的特征信息，在本地

更新的模型对比损失函数中加强了个性化特征提取能力。通过在三个广泛使用的

数据集上与当前基准方法进行比较，验证了该框架对全局模型精度的提升效果。

（2）针对无线网络下参与联邦学习的各客户端有限带宽资源公平分配的问题，

本文提出了一种基于Shapley值的贡献度计算策略并将其作为模型聚合时的权重。

在此基础上进一步提出了一种基于模型贡献度的客户端选择与无线资源分配方法。

通过在异步聚合阶段降低部分低贡献度的客户端训练与聚合频率，将有限的带宽

资源分配给高贡献度的客户端，使得全局模型的收敛速度和精度提高。实验证明，

所提算法能够实现有限带宽资源的有效分配，大幅降低了系统时延与客户端总能

耗，从短期与长期视角均验证了方法的有效性。

（3）针对设备异构场景下算力不同导致高算力客户端浪费时间等待的问题，

本文提出了一种基于模型Dropout的三层联邦学习改进算法。通过在通信前后设

计一种基于随机丢弃与参数补齐的有效协议，对客户端至边缘端的通信参数量进

行优化，确保即使计算时长不同但本地模型也能在同一个时间点被传输至边缘端，

解决了高算力设备的等待耗时问题。此外将异构算力因素纳入考虑，对相似性配

对方法、Shapley值聚合策略与客户端选择方法分别进行了优化。实验表明该改进

算法更适用于设备异构场景，在降低系统时延与能耗的同时提高了模型性能。

关键词：联邦学习，统计异构性，设备异构性，协作公平性，无线资源分配

I

ABSTRACT

ABSTRACT

WiththeexplosivegrowthofInternet-of-Things(IoT)devices,thegenerateddata

hasbecomemassiveanddiverse,possessingpotentiallyhighpracticalvalue.However,in

theeraofbigdata,thecontradictionbetweenthedemandforprivatedomaindatabyartifi-

cialintelligencetechnologiesandtheinabilitytosharesensitiveprivatedataisbecoming

increasinglyprominent.Federatedlearning,whichcantrainartificialintelligentmodels

whileensuringuserdataisolation,hashighresearchandapplicationvalue.Traditional

two-layerfederatedlearning,basedoncloudorbasestations,oftencannotachieveboth

lowlatencyandhighperformance.Althoughthree-layerfederatedlearningalleviatesthe

high