超越过度矫正-用 DivBench 评估文本到图像模型的多样性-计算机科学-文本到图像-大语言模型.pdfVIP

超越过度矫正：

用DivBench评估文本到图像模型的多样性

FelixFriedrichThiemoGaneshaWelschPatrickSchramowski

KristianKersting

TUDarmstadt,hessian.AI,DFKI,CERTAIN,CentreforCognitiveScience,Darmstadt

felfri.research@

Abstract加女性医生或种族多样化的CEO出现频率——改善了

本人口统计学的代表性，但它们在平衡多样化表示与上

译当前的文本到图像（T2I）模型多样化策略常常忽视了下文适宜性方面仍存在困难。[7,11,15,16]

中情境的适宜性，导致过度多样化，在提示中明确指定的当前T2I模型的多样化方法大致可以分为事后指

1人口统计属性也被修改。本文介绍了DivBench，这是导方法和微调策略。事后方法如FairDiffusion[7]引入

v一个衡量T2I生成过程中欠多样化和过度多样化的基了FairGuidance，通过在推理过程中引导语义属性来

5准和评估框架。通过对最先进的T2I模型进行系统评

1调整生成图像中的人口统计不平衡。微调方法如Shen

0估，我们发现大多数模型表现出有限的多样性，但许多

3etal.[14]所提出的将公平视为分布对齐问题，提出了

0多样化方法通过不恰当地改变情境中指定的属性来矫一种分布对齐损失函数，在保持语义准确性的同时将

7.枉过正。我们展示了以语境感知的方法，特别是由大语人口特征推向目标分布。虽然这两种方法都能有效减

0言模型引导的FairDiffusion和提示重写技术，已经能

5少专业环境下的人口统计偏见，并且可以同时管理多

2够有效地解决欠多样化问题，同时避免过度多样化，实个属性，但当应用于多样性可能在上下文中并不合适

:现了表示与语义保真之间的更好平衡。1

v的提示时，它们往往会过度多样化。

i

x尽管人们对人工智能伦理的兴趣日益增长，但在

r

a1.介绍评估和指导图像生成模型中的多样性方面仍缺乏系统

工具。本研究通过提出评估方法和设计原则来解决这

2024年2月23日，谷歌因Imagen3模型的历史不一空白，以实现对上下文感知图像生成的改进。总结

准确输出而受到批评后，暂时暂停了其Gemini平台上而言，我们的贡献有四点：(i)我们提出了DivBench，

的图像生成功能[10]。该模型旨在促进人口统计学的多这是一个新的基准测试，用于评估图像生成模型中的

样性，却产生了不适当的结果，例如对Wehrmacht士过度多样性和不足多样性；(ii)我们引入了专门设计的

兵和维京人的种族多样化描绘，或者女性教皇[6]，这新指标来量化这些形式的多样性；(iii)我们应用这一