双目视觉笔记.docxVIP

术语内参数：单一摄像机本身的参数，包含内参数矩阵（焦距，中心距）和畸变系数；内参数矩阵体现了在相机坐标系（以光心为原点，光轴为Z）中实际物理点P的坐标（单位为毫米）和图像坐标系（以胶片左上角为）外参数：摄像机和世界坐标系的关系，包括平移和旋转矩阵；在内参数标定、相机运动、双目测距坐标系变换等过程使用。注意：在使用棋盘进行标定的过程中，世界坐标系由每张棋盘图片对应的棋盘位置定义，每次移动棋盘则世界坐标系发生变化，故每张图片对应计算出的外参数矩阵均不相同。立体标定：获取两个摄像机坐标系旋转平移关系，立体矫正：针对三角法需要两个摄像机严格平行对齐的需求，由于物理上无法满足故需要数学上进行移动。本征矩阵E：包含两个相机相关的旋转平移信息基础矩阵F：除了E还包含两个相机的内参数双目测距一、测距原理我们从目的入手，逐步探索需要获取的参量，如图1所示为双目测距的原理，为了方便描述，相机成像平面（胶片/CCD）被等价翻转到光心前方。1.1坐标系说明：世界坐标系：唯一的坐标系，世界坐标系用来表示空间中物理点的位置，一旦选定则一般不会变动，对于固定相机位置的双目测距一般以左相机光心为原点，光轴为Z轴，为物理长度单位一般为mm（具体以什么为单位取决于内参数标定的结果，之后会有说明）；如果需要移动相机进行扫描，则世界坐标系不会随着相机的运动而变化，扫描时需要实时获取相机相对于世界坐标系的平移和旋转（外参数）。相机坐标系：每个相机一个，一般以两个相机光心为原点，主光轴为Z，X和Y分别与胶片的水平和竖直方向平行，固定双目相机进行测量时左相机的相机坐标系与世界坐标系重合。两个相机图像坐标系分别以两个相机的成像平面左上角为原点，水平为x轴竖直为y轴，单位为像素。1.2变量说明：P：世界坐标系下的物理点，我们的最终目的便是计算物理点P在世界坐标系下的空间坐标，单位为mm。Principal Ray:相机主光轴。pl, pr为空间点P在相机胶片上投影的位置，换言之就是两张照片上看到的点P的位置，分别在两个相机各自的图像坐标系下表示，单位为像素。(cx, cy)为图像像素中心在图像坐标系下的表示，理论上像素中心应该与主光轴和相机胶片中心重合，但由于工艺问题，实际上会有一部分偏差。f为相机焦距，单位为mm。在此需要注意一下，虽然相机焦距是非常关键的但是通常我们无法直接测定并使用这一参数（内参数标定），一般需要根据相机像素宽度（ccd上一个像素的物理尺寸）将焦距的单位转化为像素进行计算，这一部分会在后边的内参数标定的介绍中进行说明（详情见学习opencv第11章p409）。T为两个相机光心间的距离，一般由计算右相机相对于左相机的平移矩阵时(右相机外参数标定)确定，单位为mm。Z为P点的深度，单位为mm。图1 双目测距原理1.3原理说明：为了通过两个摄像机的视差（同一个物理空间点在不同相机胶片上成像位置的差距）获取P点在世界坐标系下的坐标，现下介绍两种方法。方法一、三角法三角法测距的原理如图2所示，此方法假设两个摄像头水平放置，严格对齐。图2三角法测距原理在图2中，P为世界坐标中的物理点，PL,PR是P在两个相机胶片上的投影，L为胶片的宽度，其他参数比较显然不做赘述。在此图中，三角形P-PL-PR与三角形P-OL-OR相似，所以有：由图中几何关系可知：整理得：故只要获取XL,XR,f和b就可以得到深度Z，得到深度Z后，只要获取OL P直线在世界坐标系下的方程即可获取P点的三维坐标，关于这些参量的获取方法就是相机的标定过程，会在下文说明，注意一点，XL,XR和f由于为相除关系故单位只需要一致即可，可以为像素也可以为mm。但是此方法是基于平行放置的相机模型进行计算，然而实际上并不可能使两个相机严格对齐，所以为了使用这种方法需要通过数学的方法对相机拍摄的图像进行旋转平移以使两个相机在数学上对齐，笔者此时仍未弄明白这一方法具体应如何使用，在弄清楚后会在后续的文章中进行说明。方法二、交线法如图1所示，根据光学成像原理，在理想情况下点P应同时处于射线OlPl和射线OrPr上，所以如果希望获取点P在世界坐标系下的坐标只需要获取这两条射线在世界坐标系下的表达式再求取两条线的交点即可，这一方法不受限于相机的位置，但是对于相机的标定要求很高，一般情况下我们不可能精确标定相机的所有参数，最终导致两条射线在三维空间内无法相交，此时就需要使用最优化的方法求取最佳点。后文将以此方法为中心讲解如何获取相关参数并完成测量的工作。二、测距参数获取如上文所述，为了使用交线法我们需要分别获取两个相机光心和相机胶片上P点的像点对应的连线，我们已知的是像点在图像坐标系下的坐标（单位为像素），所以我们需要建立世界坐标系与图像坐标系间的转化关系。左相机射线获取我们先以左侧相机为例，此时相机坐标系和世界坐标系重合。图