基于JND的多视点视频编解码.pptVIP

基于JND的多视点视频编码 目 录 研究背景 经过近30年的飞速发展，视频技术已进入3D时代。2010年上映的电影大片《阿凡达》标志着3D电影已成为商业电影的发展趋势。3D视频在给人们带来真实临场感的体验效果的同时，也带来了巨大的数据量。3D视频与传统的二维视频相比，最大的不同是视点的增多，从而导致编码数据量和编码时间的增大，因此制约了3D视频技术的发展。 由于人眼是视频内容的最终接受体，因此，感知视频编码被认为是最有前景的解决方案之一，成为近几年重要的研究方向。感知视频编码是根据人类视觉系统（HVS)的感知机制及感知特性建立数学模型，并将此模型集成到压缩算法中，以去除视频信号中的感知冗余的一种视频编码方案。为了能够定量地度量感知冗余，研究者们提出了感知视频编码中的一个重要概念 JND 。 最小可察觉失真（Just Noticeable Distortion——JND），也可称为恰可察觉失真，指由于人类视觉系统存在的各种视觉屏蔽效应，使得人眼只能察觉到超过某一阈值的信号变化，该阈值即为最小可察觉失真。JND模型是一种基于心理学和生理学的模型，它能有效的表征图像中的人类视觉冗余。 JND模型： 1、像素域的JND模型 2、频率域的JND模型 视频编码基础知识简介 目前的研究显示视频文件中主要存在四种形式的冗余： 空间冗余 时间冗余 统计冗余 心理冗余 空间冗余：视频由连续的帧图像组成，每帧图像又可被分为前景和背景，一般情况下，在前景和背景中均存在大片的内容相似区域。这种帧内相似性也就是空间相关性。 时间冗余：在连续拍摄的场景中，相邻的帧与帧中的同一物体一般不会发生很大的变化，它们在内容上也是相似的。这种帧间物体的相似性就是时间相关性。 统计冗余：现在的编码标准中熵编码是必不可少的环节，因为视频内容在去除了上面提到的两种冗余后得到的经变换后的码字又可分为高频和低频数据，各频域数据之间又存在着相关性，这就是统计冗余。 心理冗余：人眼对图像的感知能力并不像计算机那么灵敏，比如色彩、对比度、分辨率等，这样就允许视频信息提供者在适当的时候减少所提供的数据。 1、视频编码器将输入图像划分为互不重叠的块。 2、利用视频的空间相关性以及时间相关性，采用帧内预测或帧间预测去除冗余信息，得到预测块。 3、预测图像块和原始图像块进行差值，取得预测残差块。 4、对预测残差进行DCT变换和量化，获得量化的DCT系数。 5、对量化后的DCT系数进行熵编码，得到压缩码流。 基于视觉特性的多视点视频编码 多视点视频系统的结构图 多视点视频编码系统结构框图 多视点视频编码标准中除了采用HEVC标准中的帧内预测和帧间预测编码技术外，还采用了视差补偿预测。这是因为多视点视频是摄像机对同一场景内容从不同位置拍摄而得，各视点视频间有很大的相关性，存在着大量的冗余信息，因此在多视点视频编码中采用视差估计/补偿来去除多视点视频各视点间的冗余信息。 传统的视频编码技术通过去除空间冗余、时间冗余以及统计冗余来达到提高视频的压缩率的目的 ，但未利用人眼的视觉冗余。 所以我们根据人眼视觉特性，建立JND模型，并将其嵌入到多视点视频编码框架中。 JND模型可分为两大类型：像素域JND模型和频域JND模型。 像素域JND模型是根据视频帧的像素值特性而建立的模型。 频域JND模型是根据像素值在变换域的特性而建立的模型，通常的变换域有小波域和DCT域。由于视频编码过程中主要是在DCT域对图像进行处理，因此频域JND模型大都建立在DCT域。 像素域JND模型 亮度掩盖效应模型 纹理掩盖效应模型 时域掩盖效应模型 DCT域JND模型 空间CSF特性模型 背景亮度自适应模型 纹理掩盖模型 时间CSF特性模型 像素域JND模型 亮度掩盖效应：人类神经系统对信号的敏感度和背景信号的强度成反比，背景信号的强度越大，人类的敏感度就越低，区分能力就越小。 纹理掩盖效应：通常在纹理能量高的区域，噪声一般是很难觉察到的，因为人眼对频率比较高的纹理区的失真不敏感， 在纹理区可以容纳较大的失真。而在平滑区和边缘区的噪声 就比较容易被人眼觉察到，人眼对其失真相对比较敏感，应予以保护，避