学习多帧和单目先验以估计动态场景中的几何结构-计算机科学-机器学习-计算机视觉.pdfVIP

学习多帧和单目先验以估计动态场景中的几何结构

SeongHyeonParkJinwooShin

KAISTKAISTandRealWorldInc.

seonghyp@kaist.ac.krjinwoos@kaist.ac.kr

Abstract

在捕捉动态场景的单目视频中，估计视频内容的3D几何结构一直是计算机

本视觉中的一个基本挑战。具体来说，任务受到物体运动的显著挑战，现有模

型仅限于预测动态场景的部分属性，如深度或仅跨越一对帧的关键点图。由

译于这些属性在多帧下本质上是嘈杂的，通常会采用测试时间全局优化来完

中全恢复几何结构，这容易失败并且产生高昂的推理成本。为了解决这一挑

2战，我们提出了一种新模型，称为MMP，以前馈方式估计几何结构，生成

v一个随多个帧演化的动态关键点图表示。具体来说，基于最近的Siamese架

7构，我们引入了一个新的轨迹编码模块来将逐点动力学投影到每一帧的表

3

7示上，这可以为动态场景提供显著改进的表现力。在我们的实验中，我们发

1现MMP可以在前馈关键点图预测中达到最先进的质量，例如.，回归误差

0

.提高15.1%。

5

0

5

2

:1介绍

v

i

x理解动态视频场景是人工智能系统在现实世界中繁荣发展的一项非常重要的能力。具体来

r

a说，4D几何估计任务一直是计算机视觉中的一个基本挑战，其目标是从作为单目视频帧观

察到的动态场景中重建物理3D形状[Mustafaetal.,2016,Kumaretal.,2017,Bârsanetal.,2018,

Luitenetal.,2020,Lietal.,2023,Zhangetal.,2025]。

历史上，这个任务是通过多阶段和基于优化的方法来解决的[Luitenetal.,2020,Lietal.,2023]。

它们在第一阶段使用单独的模型来预测匹配和深度等属性，并随后通过每场景优化结合这些

属性以获得几何模型。然而，这些方法往往计算量大且由于第一阶段积累的错误而泛化能力

不强。

为了解决这个问题，最近的研究追求了前馈设计，这种设计可以直接从观察到的视频帧预测

几何结构[Zhangetal.,2025,Charatanetal.,2024,Chenetal.,2024]。值得注意的是，基于

Siamese架构的模型[Wangetal.,2024,Leroyetal.,2024]已经达到了最先进的水平，这些模

型会产生与给定帧中的每个像素相关的密集预测，在一个共享坐标系统中表示3D点云，例

如.，一帧视角。这种表示被称为点图(pointmap)，它可以分离相机运动对3D形状的影响，

并且显示出比先前的技术[Zhangetal.,2025]更好地泛化到动态场景的能力。

然而，并行模型的内在缺点是它们每次只处理一对帧，而在其暹罗架构中扩展帧的数量并不

简单。这为处理需要观察多对帧的复杂动态场景带来了显著限制，如Figure1所示，这些模

VideoFrames