诗歌故事扩散: 在多阶段提示优化中最小化诗歌到图像生成的信息损失-计算机科学-文本到图像-扩散模型-人工智能.pdfVIP

诗歌故事扩散:在多阶段提示优化中最小化诗歌到图像生

成的信息损失

a,*aaab

SofiaJamil,BollampalliAreenReddy,RaghvendraKumar,SriparnaSaha,KoustavaGoswamiandK.

J.Josephb

aDepartmentofComputerScienceEngineering,IndianInstituteofTechnologyPatna,India

bAdobeResearch

摘要.近期，文本到图像的扩散模型在生成逼真和多感受这首诗，从而增强我们的想象力。随着文本到图

样化的视觉内容方面取得了显著的成功。这一过程中像生成模型的兴起，特别是扩散模型，创意写作因它

一个关键因素是模型能够准确解释文本提示的能力。们能够生产高质量且多样化的图像而取得了显著的进

然而，这些模型往往在处理创意表达时遇到困难，特步。一些努力致力于通过在大规模图文数据集上预训

本别是那些涉及复杂、抽象或高度描述性语言的情况。练大型生成模型来解决零样本文本到图像生成挑战，

译在这项工作中，我们介绍了一种新的无训练方法，专例如DALL-E[22]和CogView[7]。然而，诗歌以其复

中门用于改进一种独特创意语言的图像生成：诗歌。诗杂的意义层次和情感深度，对准确的视觉表现提出了

1歌经常包含多层次、抽象和双重含义。我们的诗谭扩独特的挑战。扩散模型通常难以处理需要更深层次理

v

8散方法旨在通过在语言模型中整合一个多阶段提示优解的复杂提示。例如，即使是必威体育精装版版本的SDXL[21]模

0化循环来最小化诗意文本到图像转换过程中丢失的信型也经常无法生成确切数量的对象或正确解释提示中

7

3息，从而增强对诗歌文本的理解能力。为此，我们通的否定信息[15]。

1

.过对现有最先进的扩散模型进行修改，采用一致的自这提出了一个重要问题：现有的可视化模型如何

7

0注意力技术，以生成多张一致性的图像，这些图像共适应诗歌？一种生成诗歌到图像的方法是整理一个包

5同用来传达诗歌的意义。此外，为了鼓励在诗歌领域含诗歌及其对应参考图像的综合多模态数据集，然后

2

:的研究，我们引入了诗歌为图(P4I)数据集，该数据集训练一个文本到图像扩散模型以提高对诗歌的理解。

v

i包含来自多个在线和离线资源的1111首诗歌。我们邀然而，这种方法需要大量的时间和资源来收集多样且

x

r请了一组诗歌专家进行定性评估。人类和定量评价的高质量的数据集，并且在这些数据上训练或微调扩散

a

结果验证了我们的方法的有效性，并为增强生成图像模型还需要巨大的计算成本。相比之下，我们提出了

信息捕捉能力的诗到图生成提供了新的视角。一种新颖、无需训练的方法，使扩散模型能够在不进

行广泛再训练的情况下生成能够有效捕捉诗歌精髓和

1介绍意义的图像。

诗歌是一种独特的表达形式，它能够唤起情感并激发文本到图像扩散模型生成的图像质量本质上受到

想象力。这种多样性使得阅读诗歌特别吸引人，因为其编码器文本表示能力的限制。大多数现有的文本到

它邀请读者与诗人的灵感相连接，同时构建自己的个图像模型[21,3,27]依赖于CLIP[6]来编码输入提示。

人视角。但如果这些想象中的场景能被赋予生命呢？可然而，CLIP的有限文本表示能力制约了文本到图像生

视化诗歌为体验增添了新的维度，使我们能够看到和成模型的表现。考虑到这一点，我们提出了一种方法

诗歌