第四章来至运动的结构.docVIP

探测来至运动的结构 在这一章，我们将讨论来至运动的结构的概念（SfM），或者从一个运动的相机拍摄到的图像中更好的推测提取出来的几何结构，我们使用OpenCV的Api函数来帮我们完成。让我们将我们使用的冗长的方法约束为使用单个摄像机，通常称为单目方法，并且是一组分离的和稀疏的视频帧而不是连续的视频流。这两个约束在很大程度上简化了系统，这个系统我们将在接下来的页码中进行描述，并且帮助我们理解任何SfM方法的原理。为了实现我们的方法，我们将跟随Hartley和Zisserman的脚步（后面称作H和Z），伴随着他们有创意的书——《计算机视觉中的多视觉几何》的第9章到第12章的记录。 在这一章，我们将涉及到以下内容： 来至运动结构的概念 从一组图像中估计摄像机的运动 重构场景 从多个视图中重构 可视化3D点云 自始自终本章假定使用一个标定过的摄像机——一个先前标定过的摄像机。标定是在计算机视觉中普遍存在的操作，在OpenCV中得到很好的支持，我们可以使用在前面一张讨论的命令行方法来完成标定。因此，我们假定摄像机内参数存在，并且具体化到K矩阵中，K矩阵为摄像机标定过程的一个结果输出。 为了在语言方面表达的清晰，从现在开始我们将单个摄像机称为场景的单个视图而不是光学和获取图像的硬件。一个摄像机在空间中有一个位置，一个观察的方向。在两个摄像机中，有一个平移成分（空间运动）和一个观察方向的旋转。 我们同样对场景中的点统一一下术语，世界（world），现实（real），或者3D，意思是一样的，即我们真实世界存在的一个点。这同样适用于图像中的点或者2D,这些点在图像坐标系中，是在这个位置和时间上一些现实的3D点投影到摄像机传感器上形成的。 在这一章的代码部分，你将注意参考《计算视觉中的多视觉几何》（Multiple View Geometry in Computer Vision），例如，//HZ9.12，这指的是这本书的第9章第12个等式。同样的，文本仅包括代码的摘录，而完整的代码包含在伴随着这本书的材料中。 来至运动结构的概念 第一个我们应当区别的是立体（Stereo or indeed any multiview），使用标准平台的三维重建和SfM之间的差异。在两个或多个摄像机的平台中，假定我们已经知道了两个摄像机之间的运动，而在SfM中，我们实际上不知道这个运动并且我们希望找到它。标准平台，来至观察的一个过分简单的点，可以得到一个更加精确的3D几何的重构，因为在估计多个摄像机间距离和旋转时没有误差（距离和旋转已知）。实现一个SfM系统的第一步是找到相机之间的运动。OpenCV可以帮助我们在许多方式上获得这个运动，特别地，使用findFundamentalMat函数。 让我们想一下选择一个SfM算法背后的目的。在很多情况下，我们希望获得场景的几何。例如，目标相对于相机的位置和他们的形状是什么。假定我们知道了捕获同一场景的摄像机之间的运动，从观察的一个合理的相似点，现在我们想重构这个几何。在计算视觉术语中称为三角测量（triangulation），并且有很多方法可以做这件事。它可以通过 射线相交的方法完成，这里我们构造两个射线：来至于每个摄像机投影中心的点和每一个图像平面上的点。理想上，这两个射线在空间中将相交于真实世界的一个3D点（这个3D点在每个摄像机中成像），如下面图表展示： 实际上，射线相交非常不可靠。H和Z推荐不使用它。这是因为两个射线通常不能相交，让我们回到使用连接两个射线的最短线段上的中间点。相反，H和Z建议一些方法来三角化3D点（trianglulate 3D points），这些方法中我们将在重构场景部分讨论两个。OpenCV现在的版本没有包含三角测量的API，因此，这部分我们将自己编写代码。 学习完如何从两个视图恢复3D几何之后，我们将看到我们是怎么样加入更多的同一个场景的视图来获得更丰富的重构。在那时，大部分的SfM方法试图依靠束调整（Bundle Adjustment）来优化我们的摄像机和3D点一束估计位置（the bundle of estimated positon），这部分内容在重构提纯部分（Refinement of the reconstruction section）。OpenCV在新的图像拼接的工具箱内包含了用来束调整的方法。然而，使OpenCV和C++完美结合的工作是丰富的外部工具，这些工具可以很容易地整合到一起。因此，我们将看到如何如何整合一个外部的束调节器——灵巧的SSBA库。 既然我们已经描述了使用OpenCV实现我们的SfM方法的一个概括，我们将看到每个分成是如何实现的。 使用一对图像估计摄像机的运动 事实上，在我们开始着手两个摄像机之间的运动之