人机交互手势识别—分级实现手势结构视觉识别.docVIP

一种分级实现手势结构视觉识别 摘要 自动识别手势，用便携式照相机发现视觉结构与手势之间的联系。便携式照相机以第一人称视觉那样能够对连续可视手势进行每日活动分析，相比于之前重心放于人工对第一人称录像机的手势分析的研究，现在我们计划一种基于视觉完全自动实现手势分析。基于手势分类器的输出结果，所训练的手势的视觉结构是基于一种迭代有识别能力的聚类过程。我们先评估分类器在控制室内掌握数据集,然后验证我们的方法的分析能力，用一名机械师的真实数据。我们掌握的平均F1得分为室内掌握数据集分类器达到超过0.80。分析现实世界的视频显示,它可以自动学习直观视觉符合专家设计手势结构分类法。 1.介绍 这项工作的目的是提供一个可伸缩的计算机应用框架的理解和分析的使用人类的手。特别的是，我们提出一个完全自动的方法去识别手势结构用便携式使用相机来识学习视觉的手势结构。 在过去的一个世纪里，分析手和他们的交互与物理世界吸引了研究人员的关注，在神经肌肉康复等不同领域,机械臂的设计和运动控制分析。在机器人、手功能的研究提供了重要的信息关于机器人和仿生手的设计。但是，传统方法手势分析开发主要在实验室实验,通常包括侵入肢体接触传感器或校准相机。 便携式相机克服其他直接传感方式的约束允许连续记录自然的手交互。第一人称的是一个理想的观察视角把握分析由于一只手和一个对象被抓住自然位于视觉的中心。式相机的最重要的好处是,它使手掌握在大规模的研究。现在可以毫不费力地记录小时的视频。 在这项工作中,我们需要背离古典适于抓握的技术和开发自动计算机视觉技术,可以作为一种工具来推进研究适于抓握的分析。计算机视觉技术用于我们的工作的例子Flg.1所示。特别是,我们采用最先进的检测方法以自我为中心的手,为了应对新的挑战自我中心视力等无约束手部运动和快速变化的背景。基于健的手检测、特性提取手的形状和对象编码,并训练分类器同的类型。最后,掌握使用分类器学习视觉相似性掌握自动构建一个基于外观的掌握层次结构,我们称之为视觉结构的掌握。在我们的实验中,真实环境的视频的分析表明,它可以自动学习直观视觉把握结构符合分类法。 这项工作的贡献如下:1)提出一个完全自动建立的方法可以实现健的识别性能便携式相机。2)我们提出一个方法学习视觉结构的掌握使用可视化聚类方法,使得系统能够自动任务型学习分类法。 一。分类法 分类研究了近一个世纪以来,以更好地了解人手的使用[5][4][6][2][7][8]。早期作品由施莱辛格[5]分为6大类基于手形和种属性。1956年,纳皮尔提出一项计划[6],将掌握划分为权力和十年掌握基于操作任务的需求。权力的分类和精确掌握被研究人员广泛采用在医学、生物力学和机械领域。在生产任务,学习掌握·卡特提供了一个全面的分类[2],指导机器人的手设计中发挥了重要作用。在1990年代初,康和Ikeuchi[7]提出了一种计算识别框架,人类的理解允许自动机器人系统规划。 最近的式相机技术的进步,研究集中在适于的分析从耶鲁大学[9][10][11]使用几个小时的第一人称视频观察人类的行为。在以前的工作的传统适于的分析,这一过程需要数小时熟练的视觉检查的注释。然而,当它变得容易获得大量的视觉数据。很明显,人工方法不会扩大到更大的数据集。因此,这项工作的目的是提出一个可伸缩的自动建立框架,将有助于支持下一代研究领域的适于的分析使用了大量的视频数据。 。自动化的理解分析 自动化的数据驱动的方法开发了适于抓握的分析主要是在控制实验室环境。手跟踪设备(如数据手套或惯性传感器被用来获取详细的测量联合角度和立场的手[12][13][14][15]。由于传感器是直接嵌入在手上,手的动作可以测量具有很高的准确性。然而,主要的限制是,他们必须穿,有时可以抑制手交互。应用手姿势估计系统[16][17][18]允许一个完全非接触形式的交互。然而,大多数手姿势估计系统也需要校准相机的控制环境和要求的手交互记录在实验室设置。为了了解自然统计轮流交替使用,关键是手交互可以在日常的在实验室的正常活动。在这项工作中,我们有针对性的开发技术分析视频可穿戴的日常手交互记录第一人称相机我们希望有一个可伸缩的分析框架可以学习分类器自动从视频视觉结构。为此,我们采用最先进的检测技术来手地区从自我中心的视频,我们提取特性培训分类器和我们使用监督聚类方法来学习视觉结构的。一。手分割 强劲识别手地区相机是一个具有挑战性但必要的预处理需要自动化的手分析。相机移动,快速变化的背景,手没有约束和相机可以移动。最近的工作检测一方面地区使用相机已经表明,健的检测如果手模型是快速适应成像条件的变化[19]。[19]后,我们训练一个多模型手探测器由一组像素分类器外观模型。给定一个测试