动画场景：可控制相机的任何场景动画.pdfVIP

动画场景：可控制相机的任何场景动画

QingyangLiu,BingjieGao,WeihengHuang,JunZhang,ZhongqianSun,YangWei

ZelinPeng,QianliMa,ShuaiYang,ZhaoheLiao,HaonanZhao,LiNiu

12

ShanghaiJiaoTongUniversityTencentAILab

Abstract为了从单一场景图像和单个人物动作图像生成带

有可控相机和人物动作的动态视频，一个简单的方法

三维场景重建和四维人物动画在近年来取得了快速进展

并被广泛应用。然而，无缝集成重建的场景与四维人物是直接结合单视图3D场景重建(Cheetal.2024;Zhao

动画，并产生视觉吸引的结果仍然具有挑战性。一个关etal.2024;Yuetal.2024a)与可动画化的3D运动重

键难题在于将人物放置在场景中的正确位置和比例，同建(Yuetal.2024b;Houetal.2025)。然而，在无缝整

本时避免不现实的交穿。另一个挑战是人物和背景可能表合角色与场景并渲染生成视频中的逼真连贯相机运动

译现出不同的照明和风格，导致不现实的合成。此外，引时，存在若干挑战。主要的挑战之一是准确地在场景中

人注目的角色动作视频通常会伴随相机运动，这意味着定位和缩放人物，以避免不合理的重叠。另一个挑战出

中需要沿指定轨迹重建视角。我们提出了AnimateScene，现在前景和背景在光照和风格上有所不同的情况下，导

1在一个统一框架中解决上述问题。首先，我们设计了一致合成效果不佳。此外，吸引人的角色动作视频通常涉

v个精确放置模块，自动确定人类在场景中的合理三维位

2及移动相机，需要沿着定义好的轨迹重建视点。

8置，并防止运动过程中的任何交穿。其次，我们提出了

9一种无训练风格对齐方法，使四维人物表示适应背景的在本文中，我们提出了AnimateScene来解决上述

5照明和风格，实现一致的视觉整合。最后，我们为四维挑战。对于第一个挑战，AnimateScene通过一个深度引

0.人物和三维场景设计了一个联合后期重建方法，允许插导的3D模块解决了这一放置问题。特别地，我们在边

8入相机轨迹，使得最终渲染视频具备引人注目的相机运界框基线上汇集深度值，并将底部中心像素反投影到世

0

5动。广泛的实验表明，我们的AnimateScene生成动态场界空间并重新调整角色的比例，使其投影与2D边框大

2景视频时，在各种相机和动作组合中具有高几何细节和小相匹配。如果角色与场景发生碰撞，我们将它移动到

:时空一致性。最近的自由空间。同时，一个轻量级的时间平滑器在整

v

i

x个运动片段中保持演员不发生碰撞。对于第二个挑战，

r1介绍我们采用了一个无需训练的风格转换模块，在保留前景

a