ExploreGS: 带有虚拟相机采样和扩散先验的可探索三维场景重建.pdfVIP

ExploreGS:带有虚拟相机采样和扩散先验的可探索三维场景重建

MinsuKimSubinJeonInChoMijinYooSeonJooKim

YonseiUniversity

探索GS.githubusercontent

3DGSOurs3DGSOurs3DGSOurs

本

译

中

1

v

4(a)ExplorationResults

1

TrainCameras

0Freelyexplorethescene!

6VirtualCameras

0

.

8

0

5

2(b)VirtualCameraSamplingwithDiffusionPrior(c)SceneReconstruction

:

v

i

x图1.(a)可探索的3D场景重建结果。我们的方法可以从任意视角渲染出照片级真实的图像。(b)在信息缺失区域采样虚拟摄

r像机，并使用扩散先验生成伪真实值。(c)通过优化带有虚拟视点样本的3D高斯分布，我们的方法能够实现实时场景探索。

a

Abstract我们的方法优于现有的基于3DGS的方法，能够实现

从任意视角高质量、无伪影的渲染。

最近在新颖视图合成（NVS）方面的进展使得使用3D

高斯点绘制（3DGS）进行实时渲染成为可能。然而，现

1.介绍

有方法在从偏离训练轨迹的视角渲染时会遇到伪影和

缺失区域的问题，限制了场景的无缝探索。为了解决这新颖视图合成（NVS）领域取得了显著进展，能够

一问题，我们提出了一种基于3DGS的流水线，生成额以前所未见的视角渲染逼真的场景。这些进步很大程

外的训练视图以增强重建效果。我们引入了一个信息度上归功于NeRF[24]及其变体[1,25]。最近的3D高

增益驱动的虚拟相机放置策略来最大化场景覆盖范围，斯散射（3DGS）[11]进一步加速了这一进展，实现了

并随后使用视频扩散先验来优化渲染结果。通过这些高质量的实时渲染。3DGS的实时能力拓宽了NVS在

增强视图对3D高斯进行微调显著提高了重建质量。为增强现实、虚拟现实和游戏等领域的应用范围，使用户

了评估我们的方法，我们提出了Wild-Explore，一个专期望能够自由探索重建场景。

为具有挑战性的场景探索设计的基准测试。实验表明，不幸的是，这样的体验尚未完全实现，因为现有的

1

方法在视角显著偏离输入观察时会出现严重的渲染质中得分最高。最后，一个交互式探索演示展示了与现有

量退化。这些退化包括孔洞、过大的高斯分布、尖锐的方法相比，我们的方法能够在减少伪影的情况下实现

表面伪影和虚假浮动物体，通常由遮挡或有限的视点更广泛的场景覆盖。

覆盖引起（见图1(a)）。这种限制源于信息缺失，因为总之，我们的贡献可以组织如下：

基于优化的方法无法合成超出观测数据的内容。