模型不可知的性别偏见控制通过稀疏自编码器生成文本到图像-计算机科学-机器学习-文本到图像-扩散模型-图像生成.pdfVIP

模型不可知的性别偏见控制通过稀疏自编码器生成文本到

图像∗

ChaoWu,ZhenyiWang,KangxianXie,NareshKumarDevulapally,

†

VishnuSureshLokhande,MingchenGao

UniversityatBuffalo,USA

本UniversityofMaryland,CollegePark,USA

译{cwu64,kangxian,devulapa,vishnulo,mgao8}@,

中zwang169@

1

v

3摘要SDXL）进行的广泛评估表明，SAEDebias显著减少

7了性别偏见，同时保留了生成质量。据我们所知，这

9

0文本到图像（T2I）扩散模型经常表现出性别偏是首次应用稀疏自动编码器来识别并干预T2I模型

2.见，特别是在生成职业与性别主题之间的刻板联想中的性别偏见的工作。这些发现有助于构建具有社会

7时。本文提出了SAEDebias，这是一种轻量级且与模责任感的生成AI，提供了一种解释性和与模型无关

0

5型无关的框架，用于减轻T2I生成中的这种偏见。与的工具以支持文本到图像生成过程中的公平性。

2

:依赖于CLIP基础过滤或提示工程的先前方法不同，

v

i这些方法通常需要特定模型调整并提供有限的控制

x能力，SAEDebias直接在特征空间中操作，无需重1介绍

r

a

新训练或架构修改。通过利用一个在性别偏见数据集

文本到图像（T2I）扩散模型[1,2,3,4]在最近

上预训练的k稀疏自动编码器，该方法识别出稀疏潜

的研究中显示出在生成高保真度和分辨率的图像方

在空间中的与性别相关的方向，捕捉职业刻板印象。

面的显著进步。然而，在生成过程中可能存在关于性

具体来说，从稀疏潜伏变量构建每个职业的一个有偏

别、种族和年龄等敏感属性的潜在偏见[5,6,7]。其

方向，并在推理过程中抑制这些方向，以引导生成结

中，性别偏见长期存在，并且由于其往往是隐性的并

果趋向于更加性别平衡的输出。只需训练一次，稀疏

嵌入各种语义背景中，消除起来仍然具有挑战性。由

自动编码器就提供了一个可重复使用的去偏见方向，

于传统上男女所扮演的社会角色不同，性别偏见在工

提供了对有偏子空间的有效控制和解释性洞察。跨多

个T2I模型（包括StableDiffusion1.4、1.5、2.1和作场景中尤为明显，这种模式被T2I模型[8]学习和

强化。特别地，职业身份提示经常暴露T2I模型中