数字视频处理 第7章 三维视频处理.ppt

第7章 三维视频处理 三维视频编码就对三维视频信号进行处理，即在普通二维视频图像信息的基础上增加深度信息，以更逼真地描述现实世界。 7.1 立体感觉 大量的立体视觉实验表明，人在观看空间物体时不论单眼或双眼都可以产生立体视觉，只是用单眼观看的辨别精度比用双眼时差，主体感较弱。因此，立体视觉有两大类即:单眼立体信息和双眼立体信息。 7.1.1 单眼立体信息 1)调节 2)单眼运动视差 3)视网膜像的相对大小 4)线性透视 7.1.2 双眼立体信息 用双眼观看空间景物时，形成立体视觉的因素称为双眼立体信息。双眼立体信息是人眼立体视觉的重要因素，包括双眼视差和辐辏。 1．双眼视差 人眼在观看三维空间物体的时候，会产生立体感，也就是说人们不仅能够感觉到空间物体之间的距离，也能够感觉到空间物体与自己之间的距离。此外，即使是左、右两眼都能看到的前平面和上平面，在左、右眼视网膜上所成的像也稍有差异。 2．辐辏 人用双眼观看物体时，如果物体所成的像不是落在左、右两眼视网膜的对应点上，那么所看到的是二重像（也称复像）。使这种二重像成为单像，在生理光学中称为融合。融合时，眼球必须作旋转运动。眼球的这种旋转运动被称为辐辏。 对三维视频编码而言，深度感觉是一个非常重要的信息，人类视觉系统的深度感觉特性是设计三维视频采集和显示系统的依据。 7.2 立体成像原理 上一节讨论了视差的定义和人类视觉系统对三维视频图像的一些感觉特性，本节讨论视差和深度的关系，这是三维视频编码的理论基础之一。 7.2.1 平行摄像机配置 视差矢量为 7.2.2 会聚摄像机配置 CI、Cr、CW的坐标满足 7.3视差估计 所谓视差估计，就是对右图中的每个像素，找到左图中与它“同源”的像素（以左图预测右图）。 7.3.1 视差场的规律 1．偏振约束 2．空间相关性 3．时间相关性 4．水平方向性约束 7.3.2 视差估计的方法 用于视差估计主要有基于块的方法和基于网格的方法，二者既可以应用于基于变换的三维视频编码，加以处理后也可以应用于基于对象的三维视频编码。 1. 基于块的视差估计 基于块的视差估计首先把右图划分为适当大小的块，然后根据某种误差准则，在左图的有哪些信誉好的足球投注网站范围内为右图的每一个块寻找最优匹配的块，得到块的视差矢量。 误差准则 均方误差准则 MSE= [xl(i,j)-xr(i,j)]2 修改 空间局部平滑特性：同一物体，其各个部分的视差应当是接近的 SMSE= [xl(i,j)-xr(i,j)]2+ aη|d-d η |2 η为当前块的一次因果邻域，共包含3块 aη为加权系数， d，d η 分别为当前块和邻域 块的视差矢量 块大小的确定 固定块的视察估计算法(FSBM):块大小为8×8或16×16比较好 可变块尺寸匹配算法(VSBM):平坦区以大的块为单位进行视差估计，在非平坦区以小的块进行视差估计 分级块匹配算法(HBM):首先用大的块对整幅图像进行视差估计，然后检查每个块，将其归入估计成功和估计不成功两类；估计不成功的块则减小块的大小，再一次进行视差估计，直到所有块均估计成功或者已经到达设定的最小块尺寸为止。 混合块匹配算法 VSBM匹配效果好，但是计算复杂度较大，而且也不能保证各个大小不定的块可以不重合的覆盖整个图像。 混合块匹配算法结合固定尺寸和自适应尺寸算法各自的优点。 步骤： （1）将图像划分为16×16的宏块，对每个宏块计算其最佳的视差矢量，作为块中每一个像素的视差矢量。 （2）对每一个宏块，根据e= [fr(x,y)-fl(d,y)] 计算其视差补偿预测图像的误差e，式中d是该宏块的视差矢量。 （3）取所有宏块平均误差的一半作为阈值T，根据 0, e≤T 1, e＞T 为每一个宏块做标记sign。 （4）对上述标记为1的所有宏块，以其近似中心点（ 16×16 宏块无中心点）建立一个3×3的基本窗口，按照窗口自适应扩张策略，以该窗口所在宏块为边界，扩张得到最后的矩形窗口。 （5）对上述得到的矩形窗口重新进行匹配，得到的视差矢量作为该窗口中所有像素的视差矢量。处于当前宏块而不在矩形窗口内的像素，仍然使用步骤（1）中的视差矢量。 （6）对矩形窗口的形状大小和视差矢量、其他像素的视差矢量等进行编码，获得码流。 （7）重复步骤（4）~（6），直到所有宏块处理完毕。 2. 基于网格