智能视频摘要技术及在视频监控中的应用.pdfVIP

视频监控与创新应用 张 涛 杨德利 李 屹 中国电信股份有限公司广州研究院 Ⅱ 引言 (2)基 于视觉信息 的生成 方法 完善的今天 ，这种方法不失为视频摘 视频摘要 (VideoAbstract)是提 根据视频 中的颜色 、纹 理 、形 要的一个新途径。 供给人们 的一个可 以概括原始视频主 状、运动方向和强度等视觉信息 ，基 要 内容 ，但其长度却要 比原始视频短 于模式识别的思想 ，应用各种视频和 2。2 生成步骤 得多的、较为精练的信息。 图像处理技术 ，进行镜头探测 、关键 一 般而言，视频摘要的生成过程 随着对视频数据处理的要求不断提 帧提取、场景聚类 、运动特征提取等 不外乎如下几个步骤。 高和视频数据量 的 目益庞大 ，人们希望 一 系列操作，最终生成具有代表性的 (1)视频分割 能够为一长段视频建立一个摘要来决速 关键帧序列或缩略视频 。这种算法完 任何视频 摘要算法都遵 循一个 浏览以便于更好地利用它。在基于内容 全基于视觉特征 ，而忽略 了音频、字 “先分后合 ”的原则，要进行视频 内 的视频检索中，不仅仅能利用文字 ，而 幕等信息对表现视频的作用。 容理解和分析，必须首先将视频切分 且能够充分利用更容易被人们理解的、 (3)融合 多特征 的生成方法 成合理的基本单位。这些基本单位包 更为直观的音视频信息。其实现的途径 在基于视觉方法的基础上融入其 括场景、镜头、帧等。 就是 目前数字视频技术的一个热点和难 他媒体提供的信息 ，来更准确地判断 (2)视 频 内容提 取 点— 视频摘要 。 视频片段的重要程度 。这种算法是 目 采用模式识别或视频结构探测的方 前研究的热点 ，当前大多数视频摘要 法，获取能够被计算机直接处理，或能 目 视频摘要的生成方法和步骤 方法都是基于这种思想的。 够被人的感官直接感觉到的信息。 2．1生成 方法 (4)基于视频句法语义 的生成 (3)合成 摘要 视频摘要的生成方法大致可以分 方法 把判定为 “重要”的视频片段组合 为4类。 此方 法不追求 用模 式识别 的方 在一起 ，并考虑符合人类感官和便于浏 (1)简单 的生成 方法 法获取视频 中的数据语义 ，而是从视 览的原则，形成某种形式的摘要。 基 于时间对视频 进行采样 ，即 频的句法结构分析入手，探寻镜头与 每间隔一定的时间抽取一个代表帧或 镜头之间 、场景与场景之间的结构规 目 视频摘要技术实现 者一个片段 。这种生成方法很容易实 则 ，将视频的句法语义尽可能完整地 对原始视频进行视频摘要，需要 现，但完全没有基于视频的内容，效 保 存在摘要 当中。这是一种新 的思 实现关键帧提取、对象提取、对象运 果很不可靠。 路 ，在视频模式识别技术还远远不够 行轨迹切割等功能模块 ，主要的技术 0NSTECHNo10G y2o12 ·3 电估投求 流程如图1所示。 域 ，可得到背景图像 ，同时，变化较 觉中的另一个重要的研究课题 ，在医 视频摘要主要对关键帧提取、关键