原型引导和轻量级适配器在联邦学习中的内在解释性和泛化能力-计算机科学-联邦学习-内在可解释性.pdf

原型引导和轻量级适配器在联邦学习中的内在解释性

和泛化能力

SamuelOfosuMensah,KerolDjoumessi,andPhilippBerens

HertieInstituteforAIinBrainHealth,UniversityofTübingen,Germany

TübingenAICenter,UniversityofTübingen,Germany

{samuel.ofosu-mensah,philipp.berens}@uni-tuebingen.de

摘要联邦学习（FL）为跨分布式数据源训练机器学习模型提供了有前景

本的范式，同时维护隐私。然而，现实世界的FL通常面临着包括在传输大型

译模型参数期间的通信开销以及由客户端之间非独立同分布的数据引起的统

中计异质性在内的主要挑战。在这项工作中，我们提出了一种FL框架，该

框架1）使用原型提供固有解释，并且2）通过利用轻量级适配器模块作

1

v为本地模型的压缩代理来应对统计异质性，指导客户端实现泛化，尽管存

2在不同的客户分布。每个客户端通过将类嵌入对齐到原型表示并同时调整

5轻量级适配器，在本地改进其模型。我们的方法用原型和轻量级适配器取

8

5代了通信整个模型权重的需要。此设计确保每个客户的模型与全局共享结

0构保持一致，同时最小化通信负载，并提供固有解释。此外，我们在一个

.

7真实的视网膜底片图像数据集上进行了实验，该数据集提供了临床站点信

0息。我们展示了固有的可解释能力并执行了一个分类任务，这显示了在基

5

3

2线算法上的准确性提升。

:

v

iKeywords:联邦学习·内在可解释性·原型。

x

r

a

1介绍

联邦学习（FL）因其能够在分布式数据源上合作训练机器学习模型的同

时保护隐私并减少对数据集中化的需求而受到广泛关注[13,17]。这在医疗

保健领域尤为重要，因为患者隐私和数据法规通常会阻止机构之间直接共享

数据[2,18,20]。FL通过提供保护隐私的合作方式，在医学领域为医疗机构

间的合作提供了众多优势[18]，使得能够利用多样化的患者数据开发可泛

化模型，同时减少监管挑战。然而，医疗影像数据在FL中提出了独特的挑

战，主要由于不同机构之间统计异质性导致的问题，这些问题源于图像采集

3代码可在/berenslab/FedAdapterProto获取

2S.O.Mensahetal.

协议的不同、患者人群的多样性、类别分布不平衡以及其他因素[9,26,27]。

因此，在FL中的客户端通常会处理非独立同分布（non-IID）数据，这会导

致不一致