镜头边界检测.pptVIP

镜头边界检测（SBD） 摘要 本文要做的内容： 在模式识别角度提出了普遍适用的结构框架 回顾现存的检测方法 提出了一个基于图像分割模型的SBD系统 关键字：架构，图像分割模型，多分辨率分析，镜头边界检测，支持向量机 I.简介 镜头边界的概念 一个镜头(shot)是相机的一次连续拍摄，代表的是时间和空 间上一组连续的动作,是一系列相互关联的连续帧的组合。 I.简介 镜头边界分为两类：切换和渐变 渐变又分为：溶解、换扫、淡入、淡出 现阶段主要研究为渐变检测 现阶段研究镜头边界检测存在的主要问题： 现阶段的研究跟不上镜头边界检测技术的需求 现阶段许多方法的效果没有统一的评价标准 I.简介 文章的主要内容 The Section II ：SBD架构 The Section III：对现有SDB技术的分析 The Section IV：提出了一个基于图像分割模型的SBD系统 The Section V：基于实验平台TRECVID的实验检测提出系统的有效性 The Section VI：总结与展望 II.SBD架构 A.镜头边界检测（SBD）即从视频中分割成一些连续的镜头。 主要包括3个核心部分 1.可视内容的描述 2.可视内容的连续性评估 3.连续值的分类 II.SBD架构 可视内容的描述 可视内容的描述需要两点：不变性和灵敏性 不变性指：当内容变化时存在特征是不变的（镜头切换除外） 如，镜头的旋转 灵敏性：反映捕获可视内容细节的能力 内容越粗糙不变性越强，细节越多灵敏性越强 II.SBD架构 连续信号的结构 本文将视频码流转化为一维连续信号分析，理想情况下， 在相同镜头下码流保持很大的值而当镜头切换时，码流会衰 减到很小。而实际情况下不仅要考虑帧间的变化 还要考虑相 邻帧的变化。 II.SBD架构 连续值的分辨 通过建立分辨连续性的数学模型，产生自适应的分辨器，设立阈值完成镜头边界检测。 II.SBD架构 B.架构中存在的主要问题 1.渐变镜头的检测 2.突变光变化的干扰 3.大对象/摄像机运动的干扰 III.现有SBD技术的分析 A.基于可是内容描述的方法 基于像素的方法 优点：简单，灵敏性强 缺点：对于局部和整体的运动敏感 改进：色柱状图法，块匹配法 2.基于边缘变化率法 优点：对于光线改变引起的变化不敏感 缺点：繁琐，计算量大 III.现有SBD技术的分析 B.基于信号连续性结构的方法 1.成对比较法：将帧成对比较 优点：简便 缺点：对噪声敏感 改进：二阶差分 2.上下相关法：比较时考虑其他前关的帧，提取出相似信息，在进行帧索引。 此方法提取特征信息是关键，现有算法还不理想。 III.现有SBD技术的分析 C.基于分类的方法 1.规则分辨器法：选取阈值对帧进行分辨，采用自适应阈值好于全局阈值 2.机器学习法：分为区别分辨器和进化分辨器，关键在于如何构造分辨器的特征和如何获取一个合适的训练 III.现有SBD技术的分析 D.渐变镜头检测的方法 1.淡入和淡出：这时两个镜头之间以黑白帧隔开，通过寻找黑白帧从而分来两个镜头。 2.换扫：两个镜头通过换扫转换时，存在“时空片”使两部分的内容同时存在时空片上，通过寻找时空片将而分开两个镜头。 3.溶解：（1）基于给定溶解类型，通过判断帧是不是符合溶解类型找出溶解帧，从而分辨两个镜头；（2）再溶解开始时，像素的强度在溶解达到中间时最小。通过找像素曲线的最小值 找到溶解帧，从而分辨两个镜头。 4渐变的一般方法：双比较法，如基于自适应运动阈值的有限状态机法；多分辨率分析法：高分辨率对应低阈值，低分辨率对应高阈值。 IV.基于图像分割模型的SBD系统 A.图像分割模型 IV.基于图像分割模型的SBD系统 A.图像分割模型 IV.基于图像分割模型的SBD系统 B.支持向量机的主动学习 IV.基于图像分割模型的SBD系统 C.时域多分辨率分析 IV.基于图像分割模型的SBD系统 C.时域多分辨率分析 IV.基于图像分割模型的SBD系统 D.整个系统的构建 V.基于TRECVID实验 A.实验条件 V.基于TRECVID实验 B.结果的比较 V.基于TRECVID实验 B.结果的比较 V.基于TRECVID实验 B.结果的比较 V.基于TRECVID实验 B.结果的比较 VI.总结及展望 文章总结 提出了普遍适用的SBD架构 对现有SDB技术的分析 提出了一个基于图像分割模型的SBD系统 基于实验平台TR