基于时空关联的角色关系挖掘.pdfVIP

基于时空关联的角色关系挖掘 原琨 姚鸿勋* 纪荣嵘 哈尔滨工业大学计算机学院，哈尔滨工业大学 321 信箱 150001 摘 要：以基于时空上下文人物关系的挖掘方法为基础，本文提出了基于人物共生性语义的角 色关系表达方法，通过对视频进行语义的局部区域划分，自动确定每个描述子的时序数据描述 范围，并结合本文已经提出的挖掘方法构成局部人物关系描述子。本文使用了20 小时的视频( 电 视剧“Friends”)作为数据，计算和量化人物共生关系，提取出的局部人物关系描述子能够有 效表达视频中的角色关系语义。 关键词：视频索引；角色关系；时空上下文；基于内容的视频分析。 1．引言 1 在故事情节的视频中，人物是构成故事内容的一个重要组成部分。在以往的视频分析 中，研究者将视频中人物作为分析的目标也是屡见不鲜的，但其研究都是把每个人物看作 独立研究个体，没有关注人物之间存在的社会联系。最近，Vinciarelli 等[1]是最早用社会关 系进行电视节目分段研究的。Rienks 等[2]则提出通过利用语言、行为、互动和视频会议主 题，分析每位与会者的影响力。Hung 等[3]根据说话长度、运动行为等视听特征，推测出一 个会议中最重要的那个人物。而 O Arandjelovic[4] ，Y. Gao[5]提出运用主要演员列表，进行 基于人物的视频内容浏览和检索。因为在电影和电视剧中，观众的兴趣主要来自于演员。 通过演员索引，发现长篇的视频中的演员表，进而检索感兴趣的演员和关于他的镜头。在 过去的工作中，ICASSP[9]主要介绍了人物关系挖掘的方法，在该文中提出了基于时序上下 文的高斯挖掘方法，并且给出展示结果。最近提出的“VisualCor”系统[6]主要介绍了人物关系 挖掘系统的整体框架，包括视频镜头分割、视频人物定位和特征提取，并将视频人物关系 挖掘方法用于人物关系图的生成中。但是这是不够的，角色关系具有动态性、局部性，为 了达到应用角色关系进行视频分析的目的，我们需要一种有效的、统一的描述子，根据视 频语义自动表示人物之间的关系。 2 ．视频角色关系挖掘 2.1 基于时序上下文的角色共生关系分析 当两个角色同时出现在同一个视频镜头中说明该镜头含有两个角色的共生性语义信 息。由于视频序列的时间相和内容相关性，角色共生关系不仅仅独立于单个的视频镜头中， 资助项目：国家自然基金） *联系作者：姚鸿勋，E-mail ：yhx@vilab.hit.edu.cn 反而存在于上下文相关的几个视频镜头中，所以通过时间序列上下文角色共生关系的分析 可以获得更准确和可靠的分析。在时间序列上，上下文环境距离目标视频的远近决定了上 下文视频镜头贡献给目标视频角色相关性的程度。通过这样的方法，不但能够判断视频中 含有角色共生关系，并且能够完成角色相关程度的量化。ICASSP[9]详细地说明了该方法。 2.2 空间上下文的引入 AC Gallagher提出图像中人物的空间位置体现着一定的社会关系[7]，并利用空间上下文 特征做了实际的应用，充分证明了图像中人物空间位置的结构能够在一定的程度上反映社 会关系。同样在视频中，尤其是在某段视频中出现多角色时，时序共生关联程度相同时， 那么就可以利用空间上下文来判断和计算更具体和准确的共生性，同时还可以利用空间关 系来修正时序共生关系方法的结果，提高准确率。 我们进行视频角色关系是以视频镜头为单位的，每个视频镜头是按照最常见的切分方 法获得的。我们令矩阵w [w ] ，为空间角色共生性矩阵，表示基于空间位置共生性的 ij m×m 角色关系图。其中，wij=1 表示人物 i 和j 共生。 当视频镜头中第n帧出现角色共生时，进行空间上下文的角色共生性计算得到角色关 系矩阵 n D [dij ] m×m 。如下： ⎧ avg (size(i), size( j)) w 1 dij ⎨⎪ position (i )