天气编辑：使用 4D 高斯场进行可控天气编辑.pdfVIP

天气编辑：使用4D高斯场进行可控天气编辑

1121

ChenghaoQianWenjingLiYuhuGuoGustavMarkkula

12

UniversityofLeedsCarnegieMellonUniversity

Abstract

在这项工作中，我们提出了WeatherEdit，一种用于在

3D场景中生成具有可控制类型和严重程度的逼真天气

效果的新颖天气编辑流程。我们的方法分为两个关键组

件：天气背景编辑和天气粒子构建。对于天气背景编辑，

本我们引入了一个集成多个天气风格到单个预训练扩散模

译型中的全功能适配器，能够在一个2D图像背景下生成多

中样化的天气效果。在推理过程中，我们设计了一种时间图1:现实的、可控的天气编辑。给定来自多视角摄像

视图（TV-）注意力机制，按照特定顺序聚合时间和空间

头在多个时间步长的晴天图像，WeatherEdit可以根据

3信息，确保多帧和多视角图像的一致性编辑。为了构建

v这些天气粒子，我们首先使用编辑后的图像重构一个3D用户指令生成各种天气条件（例如，雾天、雪天和雨天）

1下具有不同严重程度（例如，轻度、中度、重度）的高

7场景，然后引入一个动态4D高斯场来生成场景中的雪

4花、雨滴和雾。通过基于物理的建模和模拟精确控制这保真场景。

0些粒子的属性和动力学，确保逼真的天气表现以及灵活

2ClimateNeRF(Lietal.2023)利用神经辐射场（NeRF）

.的严重程度调整。最后，我们将4D高斯场与3D场景整

5合以渲染一致且高度逼真的天气效果。在多个驾驶数据在三维空间中模拟积雪和洪水。然而，这种方法仅限于

0集上的实验表明，WeatherEdit能够生成具有可控制条静态天气事件，并保持整体天气氛围不变，缺乏全场景

5

2件严重性的多样化天气效果，突显了其在恶劣天气下的的大气逼真度。

:

v自动驾驶模拟中的潜力。参见项目页面https://jumpon-在3D-WE中，同时实现现实主义和可控性非常重

ithemoon.github.io/w-edit/。要。逼真性确保高质量的天气效果，我们认为它涉及三

x

r个方面：(R1)无失真编辑：编辑结果应无视觉失真和不

a

介绍自然的伪影。(R2)时间视图一致性：天气效果和场景元

三维天气编辑（3D-WE）旨在根据用户指令在三素应在时间步骤之间以及不同视点下保持一致性。(R3)

维场景中生成多样的天气条件。这是计算机视觉中的动态天气效果：如雪花和雨滴等天气粒子应该被现实地

一个关键任务，应用领域包括自动驾驶、增强现实和虚模拟以反映自然的天气动态。另一方面，可控性确保了

拟场景合成(Almaliogluetal.2022)。现有方法从基于对天气效果的灵活且细致的编辑，使用户能够自定义场

2D的图像技术(Valanarasu,Yasarla,andPatel2022;景的各种方面，包括：(C1)类型：系统应支持选择和

Zhangetal.2023)到3D神经渲染(Lietal.2023)不在不同天气类型之间切换（例如、下雨、