ControlNet插件在AI生成图像中的控制应用分析.pdf

音画制作︱

PostProduction

ControlNet插件在AI生成图像中的

控制应用分析

文/河北工程大学 温逸娴

摘要：

运用AI绘图工具StableDiffusion生成图像的过程中，虽然可以用提示词来描述画面，但生成图像的不确定性很大。为了生成满意的图像，

可以使用StableDiffusion的插件ControlNet对图像生成进行控制。本文分析了用ControlNet对图像生成过程的控制方法，并运用该方

法在具体案例中实现了在生成图像过程中对画面构图的控制。

关键词：

AIGC；AI绘画；StableDiffusion；ControlNet；人工智能

AI绘图已成为行业关注焦点。它的神奇之处在于，可以通过语言描绘生成一幅杰作。不需要学习绘画，不需

要操作各种复杂的作图软件，只需要运用想象力，用语言描述出画面的内容，AI就能在几秒钟之内把画面呈现出

来。传统的计算机绘画技术局限于机器执行预先设定的规则和算法，因此无法创造出高质量的图像。随着深度学习

和生成对抗网络技术的应用，AI绘画发展出了一种全新的生成方式，即通过对数据集的学习，机器能够自主生成

新的图像[1]。AI绘画是一种不需要通过人类主动参与创作而通过计算机视觉即可生成视觉图像的绘画工具，凭借

着庞大的数据库和训练样本，就可以根据与图像相关联的关键词，通过其绘画算法输出一张不存在于训练样本数据

库中的崭新作品[2]。

现在流行的AI绘画工具有Midjourney、StableDiffusion、DALL·E2、Firefly、文心一格等。这些AI绘

画工具各有特点。StableDiffusion对于生成当代艺术图像具有较强的理解力，善于刻画图像的细节。DALL·E2

由其前身DALL·E发展而来，其训练量无比庞大，更适合用于企业所需的图像生成场景，视觉效果也更接近于真

实的照片。而Midjourney则使用Discord机器人来收发对服务器的请求，所有的环节基本上都发生在Discord

上，并以其独特的艺术风格而闻名[3]。许多艺术家在寻找灵感时，都会使用Midjourney生成图像。2022年8月，

在美国科罗拉多州举办的新兴数字艺术家竞赛中的获奖作品《太空歌剧院》就由Midjourney生成[4]。

影视制作57

音画制作︱

PostProduction

1.StableDiffusion的特点与应用2.ControlNet插件介绍与使用方法

StableDiffusion是StabilityAI研发的一款AI绘ControlNet是一个基于StableDiffusion功能的

画工具，它与Midjourney、DALL·E2、Firefly等插件，它能利用输入图片里的边缘特征、深度特征或人

工具最大的区别是免费开源。2022年5月至8月期体姿势的骨骼特征等，精确地引导StableDiffusion生

间，其开发企业StabilityAI进行了内部测试，并在项成图像。它为图像生成功能引入了新的控制方式，可以

目开源化后同时公开了代码和文档[5]。所有代码均可在更稳定地控制画面。这很好地解决了文生图无法控制生

GitHub上下载。成图片的细节这个难题。

StableDiffusion是开源的，它除了拥有文生图和ControlNet能固定构图、定义姿势、描绘轮廓，

图生图等这些主要功能之外，还拥有非常丰富的模型用一张线稿就能生成一张精致的图像，功能非常强大。

和拓展插件资源。模型包括：人物、动物、风景和建实现这些功能的前提是额外给它一些明确的信息