一种自适应学习率的联邦学习算法.pdfVIP

AdvancesinAppliedMathematics应用数学进展,2025,14(4),100-110

PublishedOnlineApril2025inHans./journal/aam

/10.12677/aam.2025.144143

一种自适应学习率的联邦学习算法

朱桁颍

广东工业大学数学与统计学院，广东广州

收稿日期：2025年3月3日；录用日期：2025年3月26日；发布日期：2025年4月3日

摘要

当前人们越来越重视个人信息的保护，联邦学习由于本地训练，不用上传数据而当作一种保护数据隐私

的机器学习框架被提出。但是面对现实世界的数据异质性设备时，联邦学习出现全局模型性能下降，收

敛速度降低等问题。针对这个现象，本文聚焦于联邦学习的聚合阶段，通过理论分析，结合联邦学习全

局损失的收敛上界和更新过程提出了Fedalr算法。该算法通过使用动量方法估计全局梯度，自适应计算

出局部梯度的学习率来优化聚合模型，目的是提高了联邦学习的收敛速度和全局模型性能。另外，我们

还验证了算法收敛性。最后通过不同种类统计异质性数据的仿真实验，证明了该算法比起当前基准算法

性能更优秀，性能最多优化提升了30.74%。

关键词

联邦学习，边缘计算，非独立同分布数据，机器学习

AFederatedLearningAlgorithmwith

AdaptiveLearningRate

HengyingZhu

SchoolofMathematicsandStatistics,GuangdongUniversityofTechnology,GuangzhouGuangdong

Received:Mar.3rd,2025;accepted:Mar.26th,2025;published:Apr.3rd,2025

Abstract

Withgrowingconcernsoverpersonalinformationprotection,federatedlearninghasemergedasa

privacy-preservingmachinelearningframeworkbyenablinglocaltrainingwithoutdatauploads.

However,inreal-worldscenarioswithheterogeneousdataanddevices,federatedlearningfaces

challengessuchasdegradedglobalmodelperformanceandslowerconvergence.Toaddressthis,

wefocusontheaggregationphaseoffederatedlearningandproposetheFedalralgorithm,based

ontheoreticalanalysisoftheconvergenceupperboundandupdateprocessofthegloballoss.Fedalr

文章引用:朱桁颍.一种自适应学习率的联邦学习算法[J].应用数学进展,2025,14(4):100-110.

DOI:10.12677/aam.2025.144143

朱桁颍

employsmomentummethodstoestimateglobalgradientsandadaptivelycomputeslocalgradient

learningratestooptimizetheaggregatedmodel,aimingtoimproveconvergencespeedandglobal

modelperformance.We