边缘辅助的多用户个性化人工智能生成内容 （AIGC）协作微调.pdfVIP

1

边缘辅助的多用户个性化人工智能生成内容

（AIGC）协作微调

NanLi,WantingYang,MarieSiew,ZehuiXiong,BinbinChen,ShiwenMao,Kwok-YanLam

摘要—扩散模型（DMs）已成为高质量内容生成的强大工然而，与生成对抗网络（GANs）不同的是，后者

具，然而其推理过程中的密集计算需求给资源受限的边缘设备在单次前向传递中生成样本，扩散模型（DMs）依赖于

带来了挑战。基于云的解决方案有助于计算，但在多用户边缘计算密集型的迭代去噪过程（通常为100到1000步）。

AIGC场景中解决隐私风险、个性化效率和通信成本方面往往

这种迭代特性加上AIGC模型的巨大存储需求，给在资

力不从心。为弥合这一差距，我们首先分析了现有的个性内容合

源受限终端设备上部署此类系统带来了挑战。为了缓解

本成边缘-AIGC应用，揭示了它们在效率和可扩展性方面的局限

译性。然后，我们提出了一种新的集群感知分层联邦聚合框架。基这些挑战，在传统设置（图1a）中，用户通常将他们的

于通过低秩自适应（LoRA）进行的参数高效本地微调，该框架原始数据与生成提示一起上传至强大的云服务器或功

中首先根据客户上传的任务需求相似性对客户端进行聚类，随后进能齐全的边缘服务器进行完整推理，但这引发了关于原

1行群内聚合以在服务器端增强个性化。接下来，实现了一个跨集始数据泄露的担忧。随着用户对低延迟和隐私保护生成

v群知识交互范式，以启用不同集群之间混合风格的内容生成。基

5过程期望的增长，服务器-客户端混合推理框架在最近

4于联邦学习（FL）协作，我们的框架同时在设备上为个人用户

7训练个性化的模型并在服务器上训练一个带有多个LoRA适配的研究[4]–[7]中引起了更多关注。

4

0器的共享全局模型，实现了高效的边缘推理；同时，所有用于聚混合推理框架旨在根据任务特定的提示，在服务器

8.类和推理的提示在传输前都会被编码，从而进一步减轻明文泄露（用于初始处理）和设备（用于本地去噪）之间分配计

0的风险。我们的评估表明，在边缘约束下，该框架能够实现加速

5收敛，并保持其实用性，适用于可扩展的多用户个性化AIGC算，如图1(b-d)所示。然而，在半诚实服务器设置下，

2服务。当前的混合实现会带来一定程度的存储冗余和

:

v

i潜在信息泄露，这些来源于用户提交的交互数据（例

xIndexTerms—AIGC，边缘AI，稳定扩散模型，联邦学

r习，个性化，LoRA如，混合推理查询）。特别是，EC-Diff[5]探索了单用户

a

每模型场景的云端加速策略（图1b），但在扩展到多用

I.介绍户时会变得存储密集，并且需要上传通常包含可识别用

户偏好术语（例如诊断术语如‘皮肤纤维瘤’）的明文

人工智能生成内容（AIGC）模型，具备多模态内

提示，从而产生服务器端数据暴露风险。FedBip[8]还

容生成能力（例如文本转图像、图像转图像和文本转视

要求共享领域和实例级别的明文提示以供服务器推理。

频），