基于视频立体全景无拼接生成技术.doc

基于视频立体全景无拼接生成技术 　　摘 要 全景目前被高度商业化，随着计算机技术的进步，人们对全景的期望越来越高。本文给出了一种新颖的全景生成技术。生成的全景具有强烈的立体沉浸感。该方法与其他传统方法相比，无需去考虑如何从数据中恢复各种各样的几何和光度场景模型。因此，具有低成本，效率高的优势。另外，对比于之前提出的基于照片的方式，本文技术生成的全景更加细腻，转动更加流畅。 　　关键词 无拼接；基于图像绘制；立体全景 　　中图分类号TP39 文献标识码A 文章编号 1674-6708（2013）102-0213-04 　　0引言 　　在虚拟现实的应用中，基于图像的绘制（IBR， Image-based Rendering）是较为方便的一种生成方法，它不要求为场景建立几何和光度模型，并且在绘制效率和效果方面有很大优势，所以在全球范围内迅速发展并逐步流行。 　　在众多的基于图像绘制方法中，全景（Panorama）是其??一种流行的方法，并被高度商业化运用。立体全景相较于传统全景而言，更具有沉浸感。立体全景提供了360度的双眼视觉（Binocular Vision），一般而言，它由两幅全景图像构成，一副供左眼观看，一副供右眼观看[1]。 　　然而，两幅全景图要匹配好也存在相当多的问题。主要问题在于立体全景的捕捉方式采用圆投影（Circular Projection），这种方式是一种多视点图像投影（Multiple Viewpoint Image Projection）[2]，而多视点投影的特性使得物体的相对位置会放生改变。因此，准确的重叠部分是无法找到的，即是说，使用传统的拼接技术是无法匹配这两幅图像的。在传统的全景中，上述问题可以通过各种方式去处理，但在立体全景中，这些方法会破坏立体感。 　　文献[3]针对该问题提出了一个新颖的二维全视函数——叶轮匹配。此算法所要求的图像捕获手段要求简单，适合非专业人士拍摄。其创新性在于完全抛弃了拼接的思路。 　　本文在文献[3]的基础上提出了使用视频的方法去替代原文中照相的方法。这是因为原方法中，拍摄的照片越多，最后的全景才会越流畅，但照片拍摄的太多会很费力，并且图片数量很难超过360张（每旋转1度拍1张）。视频恰到好处的解决了这个问题。然而，虽然视频的每一帧都可看作一张相片，但在实际应用中，仍然存在许多原文没有涉及到的问题，本文针对这些问题一一分析求解。 　　本文组织如下：第一章介绍了捕获图像数据的方法；第二章介绍图像配准。第三章主要分析了所捕获的数据，提出了剔除无效帧的算法；第四章讨论立体配对的问题，并给出了完整的算法；第五章介绍了一些相应的实验结果；第六章是结论。 　　1图像获取手段 　　图像的获取手段设计的比较简单，适合非专业人士拍摄。只需要一台摄像机，或是带录像功能的照相机，拍摄的时候按照一个方向（顺时针）旋转，角速度尽量恒定不变，水平方向尽量平稳，起伏不要过大。 　　对于视频的格式，长宽比应该尽量大，因此16：9比4：3的更加合适。当然，视频越清晰越好。这些要求对最终结果的质量都有着正面的作用。 　　2图像配准 　　在本方法中，相邻照片的水平位移有着重要的作用，取得视频数据后的第一步便是求得这些水平位移。使用照相的方式下，由于旋转的角度比较大，两张相邻的照片有着明显的水平位移，这时可以很容易地取得两张照片的水平位移。但是，通过视频捕获到的图像相邻两帧的水平位移很小，有的靠肉眼都已经难以分辨，如图2，并且数量至少上千，这样的情况下，想要通过手工或半自动的方式去获取这些帧的水平位移是一件不可能的任务。因此，必须要有准确的配准算法才能计算出相邻两帧的位移。 　　图像配准（Image registration）的定义是：将不同时间、不同传感器（成像设备）或不同条件下（天候、照度、摄像位置和角度等）获取的两幅或多幅图像进行匹配、叠加的过程。我们的应用需求是对不同角度拍摄的两幅图像进行匹配。 　　总的来说，基于特征的配准方法有很多，但其基本步骤类似[4]，主要由以下四步组成： 　　特征检测：一般通过手动或是自动的方式去选择一些显著而又截然不同的对象，如：边界、线状物交叉点、区域轮廓、角等。为了进一步的处理，可以使用控制点表示该对象。控制点的选择应注意：一是分布尽量均匀；二是在相应图像上有明显的识别标志；三是要有一定的数量保证。 　　特征匹配：在这一步，采用一定的配准算法，建立两幅图像之间检测到的特征的联系。另外，各种特征描述子和相似性测量方法、以及这些特种的空间关系也在这一步有所使用。 　　变换模型估计：通过已经匹配好的特征，确定映射函数的类型以及计算其映射函数的参数。 　　图像变换和重采样：根据控制点的图像坐标，建立图像间的映射关系；通过灰度变换，对空