基于数据手套的虚拟手势交互系统.docVIP

 2007 年 第 10 期 仪 表 技 术 与 Instrument Technique 传 感 器 and Sensor 2007 No110 基于数据手套的虚拟手势交互系统 周晓晶 ,赵正旭 ,楼 江 (东南大学仪器科学与工程学院 ,江苏南京 210096) 摘要 :人机交互是虚拟现实的关键技术 ,利用数据手套驱动虚拟手运动是一种自然 、灵活和高效的交互方式 。首先制 作了虚拟手的 3ds 模型 ,然后基于 VC ++ 和 OpenGL 软件平台创建了虚拟环境及导入该模型 ,并由计算机接口输入数据手 套的传感信号 ,并对该信号进行处理 ,获得驱动虚拟手运动的相关参数 ,最终实现虚拟手实时地完成手势识别和物体抓取 等动作 。 关键词 :数据手套 ;传感器 ;虚拟手 中图分类号 : TP212 文献标识码 :A 文章编号 :1002 - 1841 (2007) 10 - 0065 - 02 Interactive Hand Gesturing System Ba sed on Data Glove ZHOU Xiao2jing ,ZHAO Zheng2xu ,LOU Jiang ( School of Instrument Science and Engineering , Southeast University , Nanjing 210096 , China) Abstract :Human2computer interaction ( HCI) is a mainstream VR technology. To use data glove in driving virtual hand , it is a nat2 ural , flexible and efficient HCI control mode . We first developed a virtual2hand gesturing model and builded a VR environment . Then the 3ds model was imported on a VC + + and OpenGL platform. By processing the sensor signals , hand gestures can be identified and hand action like ball2grasping can be achieved. Key words :data glove ; sensor ;virtual hand 0 引言 随着虚拟现实技术的发展 ,虚拟手作为一种自然 、高效的 人机交互方式 ,被广泛地应用在虚拟装配 、远程手术 、机器人控 制及手语识别等各个领域1 - 2 。数据手套是一种虚拟现实系 统的交互设备 ,通过数据手套上的传感器系统 ,可以将操作者 的动作变成传感信号输入到计算机 ,计算机读取并分析传感器 的信号 ,以便控制虚拟手做出不同的手势或抓取 、移动和释放 物体 ,完成与虚拟环境的交互 。基于数据手套的虚拟手交互系 统框图如图 1 所示 。 指 ,每个手指又是由 3 个指节组成的 。虚拟手运动时 , 手掌部 分为父节点 ,即手掌的平移和旋转将带动 5 个手指共同运动 ; 每个手指为一个子节点 ,它们的动作将不影响手掌的运动 。 图 2 利用 3DS MAX 软件建立的虚拟手模型 112 虚拟手的导入 用 3DS MAX 软件建立的是虚拟手的静态模型 ,要想让虚拟 手做出各种动作 ,必须将该 3ds 模型调入到虚拟环境中 。为此 利用 VC ++ 语言加上 OpenGL 图形接口软件来建立一个视口 , 然后读取虚拟手 3ds 文件中的数据 ,并将它绘制在窗口中 。由 图 2 可以看出 ,虚拟手的模型是由无数的三角形网格组成的 , 3ds 文件的主要部分就是按照一定的拓扑关系储存三角形所有 顶点的坐标 ,通过程序可以按一定顺序读出这些顶点的坐标 , 随后利用 OpenGL 开发接口 ,在显示窗口中重新绘制 。这个过 程中 ,可以确定每个手指的旋转中心 (在每个指根中间) 和整个 手的旋转中心 (在手掌下部的中间) 和旋转坐标轴 。 图 1 基于数据手套的虚拟手交互系统框图 1 虚拟手的建模和导入 111 虚拟手的建模 要完成数据手套和虚拟环境的交互工作 ,首先要创建一个 包括虚拟手在内的虚拟环境 ,为此利用 3DS MAX 软件建立一个 虚拟手的模型 。图 2 即是利用该软件建立的三维虚拟手模型 , 其中左上 、右上和左下分别为顶视 、主视和侧视图 ,右下为透视 投影图 。该虚拟手由 16