毕业设计（论文）-基于视频的人机交互技术研究.docVIP

摘 要 人机交互（Human-Computer Interaction）主要研究人、计算机以及彼此之间互相影响的有关技术。视觉语言（包括手势和面部表情）作为一种自然的人-人信息交互的辅助方式，具有所见即所得、自然方便等优点，因此在新一代“以人为中心”的智能人机交互中得到了广泛的关注。此次课题就是在这一方面做的一些尝试和探索，其中选择了基于手势的人机交互方式做研究，由于手势具有多样复杂性以及时空的差异性，因此，基于视觉的手势识别是一个极富挑战性的多学科交叉难题。 手势一般隐藏了一定的信息，我们需要对手势进行识别，得到其表达的含义，从而控制人机交互的实施。本文实现了一个利用视频手势提取进行人机交互的原型系统，大致可分为四个部分：视频采集和分离、图像预处理、手势提取和识别、人机交互。其中的关键部分是手势的提取和识别，手势提取需要采用图像处理的方法，而手势势识别采用的则是决策树的方法，通过对手势几何特征的分析和决策来判定手势类型。 采用以上方法对一段视频进行实时处理和分析，进而实现人机交互。其中主要的交互功能可以实现，实时性也较好，准确性也较高，不过该方法的鲁棒性不是很好，对光照强度较敏感。 关键词：人机交互，手势识别，图像处理，几何特征 目录 摘 要 1 第一章 绪论 3 1.1 人机交互概述 3 1.2 手势识别概述 4 1.3国内外研究现状 5 1.3.1国外手势识别领域研究现状 5 1.3.2 国内手势识别领域研究现状 6 第二章 基于视觉的手势识别技术基础 7 2.1 手势建模 7 2.1.1 基于3D的手势模型 8 2.1.2基于表观的手势模型 9 2.2 手势分割 10 2.3 手势分析 10 2.4 手势识别 11 第三章 方案设计 13 3.1 总体框架设计 13 3.2 图像获取及预处理 14 3.2.1视频采集和单帧分离 14 3.2.2 图像灰度化处理 14 3.2.3 图像平滑处理 15 3.2.4 图像二值化处理 17 3.2.5 图像形态学处理 19 3.2.6图像去噪 20 3.3 手势提取和识别 21 3.3.1手势提取 21 3.3.2 特征提取 22 3.3.3 手势识别 24 3.4 人机交互 26 第四章 方案实现和结果分析 28 4.1 程序运行环境 28 4.2程序界面设计和主要功能 29 4.3 程序运行结果以及分析 34 总结和展望 36 参考文献 37 第一章 绪论 1.1 人机交互概述 人机交互（Human-Comuter Interacton）是研究人、计算机以及它们之间相互影响的技术，人机交互技术是当前信息产业竞争的一个焦点，世界各国都将人机交互技术作为重点研究的一项关键技术，美国总统信息技术顾问委员会的“21世纪的信息技术报告”中[1]将“人机交互和信息管理”列为新世纪4项重点发展的信息技术(还包括软件、可伸缩信息基础设施、高端计算)之一，它的目标是研制“能听、能说、能理解人类语言的计算机”。 我国国家自然科学基金会、国家重点基础研究发展计划(973)、国家高技术研究发展计划(863)等项目指南中，均将先进的人机交互、虚拟现实技术列为予以特别关注的资助项目。 人机交互是随着计算机的出现应运而生的，它的发展经历着几个阶段： (1)手工作业阶段，采用手工操作和依赖机器(二进制机器代码)的方法操控笨拙的计算机。 (2)作业控制语言和交互控制语言阶段，这一时期计算机的主要使用者是程序员，他们一般通过批处理作业语言和交互命令语言的方式和计算机打交道。 (3)图形用户界面(GUI)阶段，GUI的主要特点是采用了窗口、图标、鼠标、指针(WIMP)界面，具有简单，直接和所见即所得等优点。由于GUI简单易学，使得大量的普通用户开始接触计算机，促进了信息产业的空前发展。 (4)网络用户界面阶段，以超文本传输协议HTTP和超文本标记语言HTML为基础的网络浏览器是网络用户界面的代表。这类人机交互技术的特点是发展快、范围广，新的技术不断涌现，如聊天工具、有哪些信誉好的足球投注网站引擎等。 (5)多通道、多媒体的智能人机交互阶段，以虚拟现实为代表的计算机系统的拟人化和以手持电脑、智能手机为代表的微型化、嵌入化是当前计算机发展的两个趋势，而以鼠标和键盘为代表的GUI人机交互技术是影响其发展的瓶颈。可以利用人的多种感觉通道和动作通道(如语音、手写、姿势、表情和视线等做输入)，以并行的方式与计算机环境进行交互，提高了人机交互的自然性和高效性。总体而言，人机交互的发展历史表明其由以计算机为中心的复杂交互逐渐向以人为中心的简单、自然交互转移。 目前的多通道交互(Multi-Modal Interaction,MMI)技术已经取得了不少研究成果，有一部分也