S2 编辑-基于文本指导的图像编辑,实现精准语义和空间控制-计算机科学-扩散模型-图像编辑.pdfVIP

S2 编辑-基于文本指导的图像编辑,实现精准语义和空间控制-计算机科学-扩散模型-图像编辑.pdf

  1. 1、本文档共12页,可阅读全部内容。
  2. 2、有哪些信誉好的足球投注网站(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
  3. 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载
  4. 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
  5. 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
  6. 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们
  7. 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
  8. 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多

S编辑:基于文本指导的图像编辑,实现精准语义和空间控制

1211212312

XudongLiuZikunChenRuoweiJiangZiyiWuKejiaYinHanZhaoParhamAarabi

IgorGilitschenski2

Abstract1.介绍

近年来,生成模型领域取得了显著进展,技术如生成

最近扩散模型的进展使高质量生成和文本

对抗网络(GANs)(Goodfellowetal.,2014;Karras

引导的图像操作成为可能,同时也实现了

etal.,2019;2020;2021)和扩散模型(Sohl-Dickstein

从图像中学习概念的功能。然而,现有方

etal.,2015;Sahariaetal.,2022;Rameshetal.,2022;

法直接应用于需要细粒度控制的编辑任务

本(如例如、面部编辑)时,常常会导致次Rombachetal.,2022)能够合成逼真的图像。这些

译优解,在编辑过程中丢失身份信息和高频进步激发了在图像编辑领域的重大兴趣,这是一个

高度实用且多才多艺的领域。在其多种设置中,文

中细节,或者由于纠缠的概念而导致无关图

本引导的编辑因其用户友好的界面而脱颖而出,因

1像区域被改变。在本研究中,我们提出了

v为它接受自然语言作为输入。

4SEdit,这是一种基于预训练的文本到图

8像扩散模型的新方法,可以实现具有精确早期在这个领域的研究方法通常是从零开始在配对

5

4语义和空间控制的个性化编辑。首先,我的图像-文本数据上训练GANs(Dongetal.,2017;Li

0.们将模型进行微调以将身份信息嵌入可学etal.,2020;Nametal.,2018),这需要昂贵的标注。

7习的文本标记中。在微调过程中,我们通后来的方法探索了预训练模型(如CLIP)(Radford

0

5过在文本特征空间施加正交性约束来分离etal.,2021)的潜在空间,这些模型能够对齐文本

2

:学到的身份令牌与待编辑的属性。为了确和图像特征。然而,GAN仍然在相对较小的数据

v

i保身份令牌仅影响感兴趣的区域,我们应集上进行训练,导致其潜在空间容量有限。它们有

x

r用对象掩码来引导交叉注意力图。推理时,时难以忠实地表示分布尾部的真实世界物体,并且

a

我们的方法执行局部编辑,并忠实保留原无法泛化到未见过的文本提示。大规模预训练的文

始身份,同时使用语义上独立且空间聚焦本转图像扩散模型(Sahariaetal.,2022;Rombach

的学习身份令牌。广泛的实验表明,在定etal.,2022

文档评论(0)

zikele + 关注
实名认证
文档贡献者

该用户很懒,什么也没介绍

1亿VIP精品文档

相关文档