零样本扩散基于的快速旁路机制图像修复-计算机科学-扩散模型-图像修复-模型加速.pdfVIP

零样本扩散基于的快速旁路机制图像修复

Yu-ShanTai,An-Yeu(Andy)Wu

GraduateInstituteofElectricalEngineering

NationalTaiwanUniversity

Taipei,Taiwan

clover@access.ee.ntu.edu.tw,andywu@ntu.edu.tw

本ABSTRACT

译近期扩散模型在各种图像生成任务中展示了显著的成

中功。在此基础上，扩散模型也被有效应用于图像恢复

1任务，e。g。超分辨率和去模糊，旨在从退化的输入中

v恢复高质量的图像。尽管现有的零样本方法使预训练

7

0的扩散模型能够在没有额外微调的情况下执行恢复任

2务，但这些方法通常在降噪过程中面临较长的迭代时

4

0间。为了解决这一限制，我们提出了一种快速旁路机

.

7制（QBM），这是一种通过从中间近似值初始化来显Fig.1.图像恢复的去噪过程。(a)原始零样本扩散模

0

5著加速降噪过程的策略，有效地绕过了早期降噪步骤。型，例如，DDNM[8]，从纯噪声开始去噪。(b)我们提

2此外，考虑到近似可能会引入不一致，我们引入了修

:出的方法使用近似输入以节省早期步骤。

v

i正逆过程（RRP），该方法调整随机噪声的权重以增强

x

r其随机性并减轻潜在的不和谐。我们在ImageNet-1K

a入的图像质量。

和CelebA-HQ上验证了所提出的方法，在多个图像恢

复任务中，e。g。超分辨率、去模糊和压缩感知。我们然而，由于DMs内在需要多步骤去噪，它们在实

的实验结果表明，所提出的方法可以有效地加速现有时应用中受到限制，例如在线超分辨率流媒体或自动

方法，同时保持原有的性能。驾驶汽车。尽管已经提出了几种加速DMs的方法，但

大多数这些方法侧重于无条件生成任务[11,12,13]。

IndexTerms—扩散模型，图像修复，模型加速

与生成任务不同，生成任务需要从纯噪声开始进行去

噪，而图像恢复任务涉及退化输入。在去噪过程中，早

1.介绍

期阶段的目标是重建结构或粗糙特征，许多这样的特

扩散模型（DMs）在图像生成[1,2]、视频生成征已经存在于退化图像中。这表明可以利用退化输入

[3,4,5]和3D点云生成[6,7]等方面展示了显著的进来创建一个近似输入，从而使去噪可以从中间点而不

步。这些模型逐步向输入数据添加噪声，直到其符合是纯噪声开始，如Fig.1所示。

高斯分布，随后学习去噪，从采样的噪声中恢复出真为了确定开始去噪的最佳点，我们必须确定旁路

实数据。最近，DMs被进一步应用于图像修复任务，最合适的步长。也就是说，近似的输入应该足够接近

如超分辨率和去模糊[8,9,10]，其目标是提升降质输由完整的多步去噪过程得出的原始轨迹。我们需要选

择一个具有可接受偏差的时间步长，同时也要最大化因此，下一步输入由超参数确定，该超参数控

它提供的潜在加速效果。此外，必须补偿旁路引入的制随机噪声和估计噪声之间的权衡，如以下方程所示：