DiViD: 解耦视频扩散用于静态-动态因子分解-计算机科学-机器学习-算法.pdfVIP

DiViD:解耦视频扩散用于静态-动态因子分解

MarziehGheisariAugusteGenovesio

ÉcoleNormaleSupérieurePSL,Paris,France

{marzieh.gheisari,auguste.genovesio}@ens.psl.eu

Abstract测、检索、可解释性和具有风格转换的合成视频生成）

非常有益。本工作特别关注无监督的顺序解缠[23–25]，

无监督地在视频中分离静态外观和动态运动仍然是一与静态解缠[4,9,14,19,20,27,29,32]不同，它必须

本个基本挑战，通常受到现有VAE-和GAN-based方法利用视频数据内在的时间结构来提高因子分离和时间

中的信息泄露和模糊重构的阻碍。我们介绍了分割，这一致性。

译是第一个用于显式静态—动态因子分解的端到端视频大多数以前的顺序解缠方法都建立在变分自编码

中扩散框架。DiViD的序列编码器从第一帧中提取全局器（VAEs）及其动态扩展[1,3,21]的基础上。虽然VAE

1静态标记和每帧的动态令牌，明确地将静态内容从运是能够通过适当的正则化学习解缠表示的深度生成概

v动代码中移除。它的条件DDPM解码器结合了三个关率模型，但在序列设置中它们面临多个挑战：

4

3键归纳偏差：一个用于时间一致性的共享噪声调度方•信息泄露。在整个输入序列上对静态和动态因素进

9

3案，在早期时间步长收紧（压缩静态信息）并在后期放行条件化，通常会使动态代码捕获静态信息（反之

1.松（丰富动态）的时变KL基瓶颈，以及将全局静态令亦然），导致解缠不良。先前的补救措施——例如减

7牌路由到所有帧同时保持动态令牌特定于每一帧的交少动态潜在维度或添加辅助互信息损失——往往会

0

5叉注意力。正交化正则项进一步防止残留的静态—动妥协动态表现力，通过多个损失项使训练复杂化，并

2态泄漏。表现出对超参数的敏感性。

:

v我们在现实世界的基准上使用基于交换的准确性•重建质量。变分自编码器（VAEs）在处理复杂的真

i

x和交叉泄漏指标来评估DiViD。DiViD在最先进的顺实世界数据时，经常生成模糊的输出。提高重建清

r

a序解缠方法中表现最佳：它实现了最高的基于交换的晰度的技术通常引入层次化的潜在空间，这可能会

联合准确性，保持了静态保真度同时提高了动态转移，阻碍解缠。

并减少了平均交叉泄漏。•正则化不足。经验研究表明，仅依赖通用正则化器

是不够的。有效的解缠通常需要在模型架构和训练

程序中明确包含归纳偏置。

1.介绍

基于GAN的方法已经融入了正则化以鼓励分离

表示学习领域在无监督分解中面临一个基本挑战，特征学习，但它们的分离能力仍不尽如人意，并且使

旨在将输入数据分解为其潜在的变化因素。此方法对于用GAN进行无监督的分离表示学习仍然非常具有挑

通过增强可解释性、一般性和可控性[2,7,17,18,