[信息与通信]第六章双目立体视觉x.pptVIP

第6章　双目立体视觉 6.1　双目立体视觉原理 6.1　双目立体视觉原理 6.1 　双目立体视觉原理 6.1　双目立体视觉原理 6.2　双目成象和视差 6.2.1　双目横向模式 6.2.1　双目横向模式 6.2.1　双目横向模式 6.2.1　双目横向模式 6.2.2　双目横向会聚模式 6.2.3　双目纵向模式 6.3　基于区域的双目立体匹配 6.3.1　模板匹配 6.3.2　双目立体匹配 6.3.2　双目立体匹配 6.3.2　双目立体匹配 6.4　基于特征的双目立体匹配 6.4.1　基本方法 6.4.1　基本方法 特征点提取：平移、旋转、缩放、仿射不变性 1.SUSAN角点提取； 2.harris角点提取； 3.SIFT尺度不变特征提取 1 SUSAN边缘检测 1) USAN原理 2 ) SUSAN边缘检测 2 ) SUSAN边缘检测 2) SUSAN边缘检测 2) SUSAN边缘检测 2 ) SUSAN边缘检测 2 Harris角点检测 Harris角点检测算子是Moravec角点检测算子的改进. Harris算子用高斯函数代替二值窗口函数,对离中心点越近的像素赋于越大的权重，以减少噪声影响。 Moravec算子只考虑了每隔45度方向，Harris算子用Taylor展开去近似任意方向。 2 Harris角点检测算法的步骤： 1.）计算图像的方向导数，分别保存为两个数组Ix以及Iy，这里可以使用任何方法，比较正统的是使用Gaussian函数，因为在Harris角点检测的推导过程中默认是采用了Gaussian函数作为其计算图像偏导数的方法。当然使用简单的Prewitt或者Sobel算子也没有关系。 2 Harris角点检测算法的步骤： 2.）为每一个点计算局部自相关矩阵 u(x,y) = [Ix(x,y)^2*W Iy(x,y)Ix(x,y)*W;Ix(x,y)Iy(x,y)*W Iy(x,y)^2*W]; 这里*W代表以x,y为中心与高斯模板W做卷积，而这个模板的大小则需要你自己指定。 2 Harris角点检测算法的步骤： 3.）如果这个u的两个特征值都很小，则说明这个区域是个平坦区域。如果u的某个特征值一个大一个小，则是线，如果两个都很大，那么就说明这是个角点。Harris提供了另一个公式来获取这个点是否是角点的一个评价： corness = det(u) - k*trace(u)^2; 2 Harris角点检测算法的步骤： 4.）这个corness就代表了角点值，其中k是你自己取的一个固定的变量，典型的为[0.04,0.06]之间。当然在求取了每个点的corness以后，最好再做一个极大值抑制，这样的效果比直接设置一个阀值要好。 3 SIFT尺度不变特征提取： 2004年，David.?Lowe总结了已有基于不变量技术的特征检测方法，正式提出了一种基于尺度空间的，对图像平移、旋转、缩放、甚至仿射变换保持不变性的图像局部特征， 3.SIFT尺度不变特征提取： 1）尺度空间极值检测David.Low等人为了更加高效地在尺度空间检测到稳定的特征点，在1999年提出利用不同尺度的高斯差分方程同图像进行卷积，求取尺度空间极值，即D(x,y,σ)=(G(x,y,kσ)-G(x,y,σ))*I(x,y)=L(x,y,kσ)-L(x,y,σ) 3 SIFT尺度不变特征提取： 2）精确定位特征点的位置 当然这样产生的极值点并不都是稳定的特征点，因为某些极值点响应较弱，而且DOG算子会产生较强的边缘响应。通过拟和三维二次函数以精确确定特征点的位置和尺度（达到亚像素精度），同时可以去除低对比度的关键点和不稳定的边缘响应点，以增强匹配稳定性、提高抗噪声能力。 3 SIFT尺度不变特征提取： 3）确定特征点的主方向 利用关键点邻域像素的梯度方向分布特性为关键点指定方向参数，使算子具备旋转不变性。 在以特征点为中心的邻域窗口内采样，并用梯度方向直方图来统计邻域像素的梯度方向。梯度直方图的范围是0°~360°，其中每10°一个柱，总共36个柱。梯度方向直方图的峰值则代表了该特征点处邻域梯度的主方向，即作为该特征点的主方向。在梯度方向直方图中，当存在另一个相当于主峰值80%能量的峰值时，则将这个方向认为是该特征点的辅方向。一个特征点可能会被指定具有多个方向（一个主方向，一个以上辅方向），这可以增强匹配的鲁棒性。 3 SIFT尺度不变特征提取： 4）生成特征描述符 6.4.1　基本方法 特征点匹配： 1.相关匹配； 2.欧式距离； 6.4.1　基本方法 1.相关匹