基干Kinect体感交互式虚拟学习环境构建.docVIP

基于Kinect体感交互式虚拟学习环境的构建 　　摘 要：和传统设备相比，交互式电子白板在学习交互性特征方面显示出它的优越性。然而，它高昂的价格让人望而却步，同时初始化设备繁杂。Kinect体感硬件可以运用手势、体态、语音等自然方式实现人机交互，同时价格适中无需任何外设。文章运用Kinect、投影仪、计算机等硬件从环境外设层面、功能实现层面、程序设计层面来设计，构建体感交互式虚拟学习环境，真正实现低成本交互式电子白板 关键词：kinect；交互式电子白板；体感交互；虚拟学习环境 中图分类号：G434 文献标志码：B 文章编号：1673-8454（2016）14-0086-02 一、引言 交互式电子白板由于其在学习交互性特征方面显示出的优越性广受欢迎，逐渐被应用在教育教学过程中。这项技术得到了广泛的支持，对教学质量的提高也起了不可估量的作用。[1]但是，由于成本昂贵，并不是所有学校都可以承受。这项技术主要被分为两大类：主动识别与被动识别，主动识别的结果更稳定有效，价格也更昂贵一些。大部分电子白板都是通过电子笔、手指触摸或者其他设备来控制。但是，随着体感技术的出现，这些问题就不难解决了，它可以提供人与计算机之间的自然交互。自然交互就是指通过一些自然交互设备如Kinect等来捕捉人体动作和声音来实现与计算机之间的交互。[2] 所以，我们就希望通过利用体感技术，运用Kinect传感器、投影仪、计算机来构建一个体感交互式虚拟学习环境，既实现交互式电子白板的功能，又可以降低成本消费，同时运用在教学中又可以取得很好的效果 二、交互式虚拟学习环境的设计 近几年，有关研究Kinect体感技术在教学中的应用越来越多。Avancini[3]在其研究中运用Kinect技术模拟制作了一台交互式白板，运用九点刻度技术来匹配手部与鼠标之间的协调功能，并且加强检测手部手指动作。中国学者提出了一个基于Kinect技术的交互式白板，在机器视觉理论基础的指导下，运用具有红外线扫描技术的红外线LED笔来研制。[4]我们所要研究的就是运用Kinect体感技术模拟制作一个低成本的交互式电子白板，创建一个交互式虚拟学习环境，实现人机之间的自然交互，提高学生的学习机会 我们创设的体感交互式虚拟学习环境主要包括环境外设层面、功能实现层面、应用程序层面三大部分。它的环境外设主要是运用Kinect体感外设来开发，是环境设计的硬件部分；功能实现层面主要是软件部分实现的，主要是运用人体检测和识别技术来识别真实世界人体与手部动作与虚拟鼠标坐标的匹配协调；应用程序层面主要是将教育教学材料与系统相关联，到达系统教育性特点 1.环境外设层面 体感交互式虚拟学习环境中交互式电子白板的硬件开发主要是依赖于Kinect的使用，Kinect是微软公司最近发布的XBox360外接体感设备，具有两个深度传感器，可实现对人体骨骼的捕获功能，它具有机械转动结构的底座，在底座的支持下Kinect可以上下移动，以便扩大它的体感交互范围以及人体捕捉界面。Kinect包含的体感交互技术主要包括语音、红外线感应及摄像头，不需要借助任何外部设备就能进行体态动作捕捉和语音识别[5]。它主要是通过一个体感输入设备来控制人与计算机的交互，人通过手势声音等命令通过自然用户界面与计算机进行自然交互。[6] 基于Kinect的交互式虚拟学习环境下，不需要任何外部设备，如笔、鼠标等，人只需要通过手势、声音等即可与交互式电子白板进行自然交互，Kinect由四个主要组件组成：深度传感器是由红外线激光投影仪与单色CMOS传感器相结合而成；Kinect应用程序通常依赖于获取对象目标的被动标记和可以同时发出和接受红外线的深度传感器；Kinect软件可以自动校准传感器并且可以调节它的传感范围；Kinect还包括一个普通8位VGA摄像头，多阵列麦克风用于声音识别和机动倾斜定位。为了提高使用Kincet的效率，我们将实用范围限制设为1.2-3.5米的距离，面积控制在6平方米，Kinect传感器观看距离的水平磁场至少为0.8米，垂直场大约为0.63米。[6] 2.功能实现层面 对于系统来说，硬件与软件是不可分割的一个整体。在我们所研究的基于Kinect交互式虚拟学习环境中，软件的主要作用就是运用java语言来解析Kinect传感数据并协调现实与虚拟环境中的无缝对接。软件可以检测人体数据并且识别手指动作，也可以用手来控制鼠标 （1）人机数据匹配。基于Kinect交互式虚拟学习环境的构建主要实现的就是人机之间的自然交互，我们可以运用身体运动、手势、声音等来控制计算机，只有体感外设感应到我们手部的动作或者声音、手势等，便会传送数据到计算机，计算机快速计算数据然后将数据反映到投影屏幕上