基于多摄像头的手势识别技术.doc

基于多摄像头的手势识别技术研究 1. 研究背景 2 2. 手势识别概述 2 2.1 手势识别的概念 2 2.2 手势识别流程 3 3. 手势建模 4 4. 手势检测与跟踪 4 5. 手势特征提取 5 5.1 静态手势特征 5 5.2 动态手势特征 7 6 手势识别 8 6.1 静态手势识别 8 6.2 动态手势识别 9 7 基于多摄像头的手势识别 12 7.1 G-Sense系统的手势词汇设计 13 7.2 G--Sense手势识别应用 13 7.3 G-Sense应用背景下的手势设计 14 7.3 动态手势的定义 15 8 Sense手势识别系统设计与实现 15 8.2 G-Sense系统框架与功能 16 8.3 G-Sense系统的详细设计 17 1. 研究背景 随着计算机硬件与软件技术的发展，人机交互技术由传统的鼠标键盘时代发展到了以语音输入、动作识别等技术为代表的自然交互时代n1。特别是视觉计算技术的发展，使计算机获得了初步视觉感知的能力，能“看懂”用户的动作。其中手势识别作为一种直观的、自然的输入方式，把人们从传统接触性的输入装置中解放出来，可以以一种更自然的方式与计算机交互，使计算机界面变得更加易‘引。 手势主要分为静态手势和动态手势两种，动态手势可以看作是连续的静态手势序列。动态手势具有丰富和直观的表达能力，与静态手势结合在一起，能创造出更丰富的语义。利用动态手势识别构建新型的交互界面，是新一代的人机交互界面对输入方式自然性的要求，可以弥补传统交互方式的不足。基于视觉和手势识别研究正处于蓬勃发展的阶段，仍存着的许多值得研究的问题。研究基于视觉的动态手势识别对于构建更加好友的人机交互界面很有意义。 本文研究的是基于多摄像头的动态手势识别方法，利用两个正交放置的摄像头来获取动态手势的三维运动信息，以支持三维动作的识别。它是基于两个应用背景的应用研究：其中一个是利用手势控制的照片浏览，另一个是三维动作感应的拳击小游戏。作为一个应用研究，在研究的过程中需要解决手势检测、动态手势跟踪中的于脸遮挡、多摄像头协同工作和手势特征提取、动态手势识别等一系问题。 2. 手势识别概述 2.1 手势识别的概念 手势是姿势的一个子集，姿势这个概念没有精确的定义。一般认为，手势概念经过人的于转化为的于势动作，观察者看到的是于势动作的图像雎1。手势的产生过程如图2-1所示。 图2-1 手势的产生过程 手势识别的过程则找一个从图像V到概念动作G的变换而，如图2-2所示。 图2-2 手势识别的过程 2.2 手势识别流程 手势识别流程包手势图像获取、手势分割、手势特征提取、手势识别四大部分嘲，如图2-3所示。 图2-3 手势识别流程 3. 手势建模 在手势识别框架中，手势模型是一个最基本的部分。根据不同的应用背景，于势识别采用的模型会有不同，而对于不同的手势模型，采用的手势检测与跟踪算法、特征提取、识别技术也会有差别。手势建模主要分为基于表观的手势模型与基于三维的于势模型。 基于表观的手势建模是一种二维建模，从二维平面观察得到的平面图像信息描述于的特征。 基于表观的手势模型主要包括基于颜色的模型与基于轮廓的模型两种。 基于颜色的手势模型是把手势图像看作像素颜色的集合，通过提取手部的颜色的特征来描述手势。 基于颜色的手势模型的常用特征是颜色直方图。基于轮廓的手势模型是把手看作一个轮廓，通过提取手部图像中手的轮廓的几何特征来描述手势。 4. 手势检测与跟踪 手势检测与跟踪是手势识别处理流程中最前端的处理部分，它处理从摄像头获取到手势图像(序列)，从中检测和分割手势对象。如果是动态手势识别，还要对手进行跟踪。 基于运动信息的方法： 基于运动信息的方法是假设在视频中只有手是运动物体。 其中一种方法是背景减法。它要求背景静止不变，把视频中的每帧与背景相减，背景相同的部分变为零，不同的部分就认为是运动的物体，即手。 另一种方法是差帧法，通过当前帧与前一帧(前若干帧)相减，检测出两帧之间的差异来确定手部运动的起始区域。但是一般相邻帧之间的手势运动幅度不大，差帧法只能检测出运动的轮廓，一般要以比较低的帧采样率或者隔若干帧做减法才能正确检测与分割运动的手部。 5. 手势特征提取 手势特征的提取是与手势模型密切相关的，不同的手势模型会有不同有于势 特征。例如基于模型的手势模型有手的每个关节的状态特征，基于表观模型的手 势特征是轮廓特征、位置特征等。 静态手势识别和动态于势识别的特征也不同，静态手势的特征只是描述的手 的静态信息，例如轮廓、面积等。动态手势特征是连续的静态特征序列。 5.1 静态手势特征 常用的静态手势特征有轮廓、位置、面积、手指分布等。 手的轮廓特征可以连续的点来表示。通过边缘检测算法，把图像区域的边缘检测出来，经过进行平滑和多边形拟