行为检测与识别方法研究.pdf

行为检测与识别方法研究 † 华俊豪, 林上耀 , 浙江大学信息与电子工程学系 2014 年4 月 17 日 摘要 本文先综述了典型的几种行为检测与识别算法，然后在前人基础上做了扩展性的工作。首先复 现了 Dollár 的工作；然后用SVM 比较在不同核下的分类结果；最后提出一种简化的多动作视频 的检测识别算法。其基本思路是在提取时空特征点并后建立其特征向量后，对其聚类建立词库, 再 分配每个词属于某个动作类别的概率，确定测试样本中的兴趣点属于哪个词，由此确定所属类别。 通过每一帧图像的兴趣点及其所属类别进行动作的分类与定位。 1 引言 人体行为检测与识别是指对人的行为模式进行分析和识别, 并用自然语言等加以描述, 这种技术 包含从视频序列中抽取相关的视觉信息、用一种合适的方法进行表达, 然后解释这些视觉信息以实 现识别和学习人的行为。 通常情况下，人体行为识别对应的基本工作流程是：选用各类传感器获取人体行为数据信息，并 结合传感器特性及人的行为特性建立合理的行为模型，在此基础上从原始采集数据中提取出对行为 类型具有较强描述能力的特征，并采用合适的方法对这些特征进行训练，进而实现对人体行为的模 式识别。 行为识别的方法主要分为两种，基于可穿戴传感器和基于计算机视觉两种途径。其中基于可穿戴 传感器具有无视地形遮挡，可自由活动，对环境容忍度高。但同样具有一定的不便捷性，需要携带 大量传感器，而且需要定时更换电源，而且传感器获得的数据量有限，容易受到外界干扰，为后续 的数据挖掘和模式识别造成了不小的困难。而基于计算机视觉的行为检测和识别是近年以来非常热 门的研究领域，视觉是人类感知客观世界和获取信息的主要通道。利用成像设备采集场景中的图像 序列，进而采用计算机视觉技术实现对人体目标的自动检测与跟踪及其行为识别，是当前人体行为 识别研究的主要技术手段。 2 行为识别的研究背景 研究人员依据行为的复杂程度，将人体行为分为四个层次：姿态、个体行为、交互行为、群体行 为。行为分析最基本的两个问题是行为的描述（表征）、行为的识别（分类）。 行为分析相关研究的发展历史、研究现状及目前存在的主要问题。行为分析的相关研究起始于 20 世纪的 70 年代,80 年代有了初步的进展,90 年代是行为分析的逐步发展阶段, 在这个时期提出了 一些影响较大的研究方法。2000 年之后, 由于智能监控等方面的迫切需求, 行为分析的描述方法和 识别算法以及行为理解都取得了快速而深入的发展。 行为分析有着广泛的应用背景, 如智能监控、人机交互、运动分析、运动员辅助训练、视频编码、 虚拟现实等。近年来, 在这些应用的驱动之下, 行为分析已经成为图像分析、心理学、神经生理学等 相关领域的研究热点。 华俊豪: 实验, huajh7@ †林上耀: 研究背景综述 512304584@ 1 图1: 细分网格内的光流幅度 3 行为的描述和表征 行为表示有多种方法，按照不同的标准，可以划分为不同的种类。按照行为的构成方式，主要可 分为全局表示方式和局部表示方式。 3.1 局部特征描述 局部特征的行为识别算法可以分为三种: 光流时空兴趣点法, 基于网格的表示法, 和兴趣点轨迹描 述法。相对于全局特征的提取, 提取的局部特征对于噪声, 光照变化以及部分遮挡等有很好的鲁棒 性。并且随着高清摄像头的出现和计算机处理能力的增强, 很多细节点可以用来表达行为的特征并 进行分析, 因此基于局部特征的识别方法受到了广泛的关注。 3.1.1 基于光流的方法 早在 1994 年，Polana 和Nelson[23] 就提出将光流场信息用于行为识别，如图 (1) 所示，首先计 算出连续图像帧间的光流场，然后将每个光流帧按照二维栅格形式进行细分，分别计算出每个单元 格内光流场的总幅度，获得用于行为表征的高维特征向量，再采用最近邻分类器对行为分类。随后， C