视频压缩.ppt

Video Compression Automatic Contents Related Documents 目前越来越流行的压缩视频的方法是： 1.selecting a small number of interesting regions in each frame(基于感兴趣区域的图像压缩) 2. to encode these regions in priority(编码) 优先区域的选择是悬而未决的问题 1.real-time interactive gaze-contingent（注释跟随） foveation for video transmission over a bandwidth-limited communication channel。 （1）使用眼睛的跟踪设备用以记录观察者的眼睛注视的一些位置 （2）对于视频采用实时凹形过滤器 2.priority encoding for general-purpose non-interactive video compression（优先编码通用的非交互式的视频压缩） 3.所以大部分的通信带宽用于高保真度（也就是人们比较关注的那一小部分区域），较少的带宽用于次要的区域，次要的或周围的图片区域被高度退化 算法模型的提出及面临的问题 1.计算机视频算法用到了人类视觉系统的一些基本属性即利用人类视觉系统的一些特性估算最容易被感知的图像区域（例如物体的大小、对比、颜色、运动情况等影响），这个方法使用起来还是比较成功的。 2.人类视觉的仍有一些属性或特征很难用计算机算法大模型来解决，这个算法模型的使用就有了限制。 computational model 的提出 1. mimicing the well-known response characteristics of low-level visual processing neurons in the primate brain（模仿灵长类大脑低级视觉处理神经的熟知的响应特征） 当然还有一些别的专门的算法，但是不是通用的。 2.（1）making no assumption on video contents （2）being committed to the type of neuronal response properties that have been documented in early visual processing areas of monkeys and humans. 人眼的变动收到很多因素的影响（视觉的选择性） 场景，室内还是室外，以及所从事的工作等 神经生物学的视觉注意 在不受约束的视频输入模式下，它会自动选择高显着性区域，且不需要任何剪辑调整 通过中央-周边差异和归一化 基于视觉注意机制的感兴趣区域的检测 1.分割图像区域（采用分水岭） （1）分水岭分割方法，是一种基于拓扑理论的数学形态学的分割方法，其基本思想是把图像看作是测地学上的拓扑地貌，图像中每一点像素的灰度值表示该点的海拔高度，每一个局部极小值及其影响区域称为集水盆，而集水盆的边界则形成分水岭。 （2） 分水岭的计算过程是一个迭代标注过程。梯度分水岭变向分割图像。分水岭变换得到的是输入图像的集水盆图像，集水盆之间的边界点，即为分水岭。显然，分水岭表示的是输入图像极大值点。因此，为得到图像的边缘信息，通常把梯度图像作为输入图。 （3）分水岭算法对微弱边缘具有良好的响应，图像中的噪声、物体表面细微的灰度变化，都会产生过度分割的现象。但是，分水岭算法对微弱边缘具有良好的响应，是得到封闭连续边缘的保证的。另外，分水岭算法所得到的封闭的集水盆，为分析图像的区域特征提供了可能。 2.提取图像特征，融合显著图 根据生物的视觉注意机制特征，选用中央周边差的采样方式提取图像特征，将不同维的图像特征图融合为显著图。 3.得到感兴趣区 显著点通过竞争得到注意力的焦点，将焦点作为分水岭的种子，融合显著图和分水岭得到感兴趣区。 4.计算区域的重要性或感兴趣度 遵循返回抑制和邻近优先的原则选择注意力焦点，病转移注意焦点，从而计算区域的重要性。 Itti模型的基本思想 从输入图像中提取多方面的特征，如颜色、方向、亮度等，通过高斯金字塔和中央周边（center-surround)操作算子形成各个特征的关注图（Conspicuity Maps），然后归一化、融合得到显著图（Saliency Map）；在此基础上，通过赢者取全神经网络（Winner-Take-All，WTA）相互竞争吸引注意焦点，使得最显著区域胜出，即得到感兴趣区或注意区；最后通过返回抑制机制抑制当前显著区域，使注意