种子选择用于面向人类的图像重建通过引导扩散-计算机科学-引导扩散-可扩展图像编码-深度学习.pdfVIP

种子选择用于面向人类的图像重建通过引导

扩散

YuiTatsumiZiyueZengHiroshiWatanabe

GraduateSchoolofFSE,GraduateSchoolofFSE,GraduateSchoolofFSE,

WasedaUniversityWasedaUniversityWasedaUniversity

Tokyo,JapanTokyo,JapanTokyo,Japan

yui.t@fuji.waseda.jpzengziyue@fuji.waseda.jphiroshi.watanabe@waseda.jp

摘要—传统的可扩展图像编码方法为人和机器需要传输额

外的信息以实现可扩展性。最近的一种基于扩散的方法通过从面

向机器的图像生成面向人类的图像而避免了这一点，且不需要额

本外的比特率。然而，该方法使用单个随机种子，这可能会导致次

译优的图像质量。在本文中，我们提出了一种种子选择方法，它能

中够从多个候选者中识别出最优种子以提高图像质量而不增加比

特率。为了降低计算成本，选择是基于逆扩散过程早期步骤获得

2

v的中间输出进行的。实验结果表明，我们的方法在多个指标上优

3于基线。

6

3IndexTerms—引导扩散，可扩展图像编码，种子选择。

5

0I.介绍图1.提出的种子选择方法的处理流程。

.

6深度学习的快速发展导致越来越多的情景下，图像子，因此几乎不需要额外的比特率。实验结果表明，我

0

5既由人类分析也由识别模型进行处理，例如农场监控。们提出的方法可以提高生成图像的人类感知质量。

2

:面向人眼观看的学习图像压缩（LIC）保留了感知细节，

vII.相关工作

i而面向机器的图像编码（ICM）则丢弃了与识别无关的

x

r信息。为了弥合这一差距，需要同时支持人类视觉感知针对人类和机器的可扩展图像编码的研究已经被

a

和机器视觉的可扩展图像压缩技术。现有方法通过传输探索。ICMH-FF[1]结合了两个LIC模型：一个用于机

供人眼观看的补充信息来解决这个问题，从而增加了比器视觉，另一个用于解码额外的人类信息。然而，这种

特率。方法需要传输大量的额外数据。

一种新颖的基于扩散的方法通过从机器导向的图为了减少这一开销，已提出了一种基于扩散的方法

像生成人类导向的图像来缓解这一问题，而无需额外的[2]，它将机器导向的图像转换为人类导向的图像而无需

比特率。然而，尽管扩散模型已知会根据随机种子产生额外的比特率。该方法利用ICM解码图像作为条件输

高度多样的输出，该方法仅使用单一随机种子，这可能入，并使用带ControlNet[4]的StableDiffusion[3]生

导致图像质量次优。成人类导向的图像。与传统的可伸缩编解码器相比，这

在本文中，我们提出了一种通过多次逆扩散过程选种方法显示了优越的感知质量。还引入了一个色彩控制

择最优种子来提高生成图像质量的方法。为了减少计算器（CC）模块，通过用ICM解码图像中的颜色组件替

量，我们进一步提出了一个基于早期逆扩散步骤的中间换生成图像的颜色组件来提高色彩保真度，同时保持亮

输出选择最优种子的策略。我们的方法仅传输选定的种度不变。

图2.原始图像和解码后图像的示例：(a)原始图像，(b)使用SA-ICM的机器解码图像，(c)在处的输出图像，(d)在处的输出图像，(e)在

处的输出图像，(f)应用CC模块后人类最终重建的图像。

III.提出的������