基于区域的立体视觉算法.pptVIP

高精度摄像机标定和鲁棒立体匹配算法研究 基于区域的立体视觉算法 汪增福 主要内容 绪论 稠密匹配的基本理论 快速相关窗算法及其改进 基于区域间协同优化的立体匹配算法 总结与展望 立体视觉（Stereo Vision） 由两幅或多幅从不同视点拍摄的图像恢复场景三维信息的技术 两个主要的子问题 匹配问题 (立体匹配) - 视差图 相似而不是相同 遮挡问题: 场景的某些部分只在一幅图像中可见 重建问题 - 3D 重建所需要的摄像机参数 立体摄像机标定 立体图对 问题 匹配问题 (立体匹配) - 视差图 极线几何 动机:在哪寻找匹配点? 极平面 极线 极点 极线约束 匹配点必须在极线上 视差公式 立体匹配 选取何种匹配基元进行匹配? 两种主要方法 稠密匹配 特征匹配 特征匹配 常用特征 边缘 线 (长度、方向、平均对比度) 角点 匹配算法 在立体图对中抽取特征 定义相似度 利用相似度和极线几何寻找匹配 特征匹配 对于左图像中的每一个特征… 特征匹配 在右图像中寻找… 当相似度达到最大时的偏移量就是视差 稠密匹配 找到对应于场景中同一点的像素 通常假设 经过立体校正 分块平滑表面 朗氏表面 目标: 找到视差图 算法评估 以真实视差场为参照，对计算得到的视差场进行评估，统计视差场的准确度，以此反映匹配方法的性能 /stereo 稠密匹配基本理论 立体匹配的困难 匹配常用约束 稠密匹配的研究现状 立体匹配的困难 场景投影到两幅图像中并不总是一致的 摄像机相关 图像噪声、不同增益、不同对比度等等... 视点相关 透视畸变 遮挡 镜面反射 立体匹配的困难 即使在测试的标准图像中匹配也不是容易的事 重复场景 无纹理区域 遮挡 立体匹配中常用约束 外极线约束 相容性约束 顺序约束 唯一性约束 连续性约束 可视性约束 顺序约束 如果在参考图像中点A在点B的左边= 在目标图像中点A的匹配点也在点B的匹配点的左边 对细小物体不成立 唯一性约束 参考图像每个像素在匹配图像中最多有唯一一个匹配点 大多数方法都适用 可视性约束 参考图像中每个像素或者被遮挡或者有一个视差值（可能是亚像元）[Sun CVPR05] 允许多对一的匹配 对称的处理图像对 计算每幅图像的视差图和遮挡 左图像的遮挡由右视差图计算得到，右图像遮挡由左视差图计算 使用置信传播算法优化 视差图和遮挡迭代处理 使用分割结果作为软约束 稠密匹配的研究现状 生长法 松弛法 动态规划法 马尔科夫随机场 基于分割区域的算法 生长法 算法思想起源于人工智能中的“最小化承诺原则(least commitment principle)”， 即不可靠的决策应该直到获得足够信息后才做出最终决定 种子点生长 种子区域生长 松弛法 利用简单的匹配准则求得初始匹配 根据匹配特征间的几何、视差约束,利用松弛迭代技术增强初始匹配结果,提高匹配的正确概率,从而达到解决解的歧义性的目的 动态规划 动态规划结果 无顺序约束的动态规划 Two-Pass动态规划[Kim CVPR05] 延扫描行正交方向（即列方向）作第二次动态规划 “半全局”优化 优化能量[Hirshmüller CVPR05] E=Edata+E(|Dp-Dq|=1)+E(|Dp-Dq|1) 使用互信息作为代价 从8个方向动态规划 不使用可视性约束和顺序约束 使用唯一性约束 代价累积 “半全局”优化结果 “半全局”优化结果 图割算法 标签就是视差，求视差就是给每个象素贴不同标签 通过计算图的最小s-t 割集求能量最小化 以割代价为能量，求得的割集就是标签, 通过最大流算法使能量迅速减少 运行时间与像素数和标签数成线性关系 近似地说, 低维多项式 图割算法 “扩充移动算法” 找到降低能量最多的红色扩充移动 然后再找到最好的蓝色扩充移动…… 当对于所有的标签?都没有可以降低能量的?-扩充移动时停止 扩充移动实例 图割算法结果 在能量中包括遮挡项[Kolmogorov ICCV01] 置信传播算法 在马尔可夫网络上传播消息的迭代推导算法 每个像素并行计算置信度 观察:数据项(固定) 消息:反映邻近站点变量取值对该站点变量取值的影响 对树结构有精确解，对有环图有较好的近似解 对称置信传播算法结果 对称置信传播算法结果 对称置信传播算法结果 基于分割区域的算法 隐含假设 颜色平滑的区域内部视差能够用平滑的视差模型（常数、平面等等）代替 视差不连续处与分割区域边缘相一致 通常步骤 图像分割 初始视差计算 根据初始视差估计每个视差平面参数 根据定义能量以分割区域为整体采用合适算法优化 基于分割区域的算法 优点 区域内的平滑是被强制执行的 单眼线索所获得的视差边界在很多时候比单纯由视差估计的边界更