基于Leap_Motion的动态手势识别技术研究.pdfVIP

基于LeapMotion的动态手势识别技术研究

摘要

随着科技的发展，计算机已经深入人们生活的方方面面，越来越多的人机交互的

需求应运而生，动态手势识别作为人机交互领域的一项重要技术正受到越来越多人的

关注。而随着近些年来传感器技术的发展，以LeapMotion为代表的深度摄像头出现，

使得研究者获得的手部信息更加准确，同时也使动态手势识别从二维空间转化到三维

空间中。但是目前很多基于LeapMotion的动态手势识别分类方法比较单一，同时准确

率较低。因此本文从动态手势的特征描述和模型选取方面入手，提出了一种新的基于

LeapMotion的动态手势识别方法。

本文提出的整体方案是使用LeapMotion捕捉到手部的特征向量后，对特征向量进

行预处理，再使用训练好的全卷积神经网络对其进行分类。本文从动态手势的时序特

性入手，创新性地引入全卷积神经网络来解决基于LeapMotion的动态手势分类问题。

同时，本文结和LeapMotion提供的手部模型数据和人体手部特征，提出了一种使用相

对坐标的手部特征描述方法对动态手势进行描述。这种方法相较于基于绝对坐标的手

部特征描述方法可以明显提高基于LeapMotion的动态手势识别的准确率。

最后本文通过基于速度阈值的手势录制方法，参考LeapMotion-Gesture3D数据集

选取的美式手语种类，重新选取了识别难度更高的美式手语种类，并在其360个样本

的基础上自建了一个480个样本的美式手语数据集。本文提出的方法在该自建数据集

上的识别准确率可以达到95.8%。之后本文在公开数据集LeapGestureDB上进行实验，

本文提出的方法的识别准确率可以达到90.27%。最后将所得实验结果与一些在该数据

集上进行的其他研究的进行对比。结果表明本文提出的方法在此数据集上分类结果准

确率更高，以一种新的方法解决了基于LeapMotion的动态手势识别问题。

关键词：动态手势识别；LeapMotion；全卷积神经网络；手势特征变换

基于LeapMotion的动态手势识别技术研究

Abstract

Withthedevelopmentofscienceandtechnology,computerhaspenetratedintoevery

aspectofpeopleslife,moreandmorehuman-computerinteractionneedshaveemerged.

Dynamicgesturerecognition,asanimportanttechnologyinthefieldofhuman-computer

interaction,isattractingmoreandmorepeoplesattention.Withthedevelopmentofsensor

technologyinrecentyears,theemergenceofdepthcamerasrepresentedbyLeapMotion

makesthehandinformationobtainedbyresearchersmoreaccurate,andalsomakesdynamic

gesturerecognitiontransformfromtwo-dimensionalspacetothree-dimensionalspace.Butat

present,manydynamicgesturerecognitionclassificationmethodsbasedonLeapMotionare

relativelysimple,andtheiraccuracyislow.Therefore,thisthesisproposesanewdynamic

gesturerecognitionmethodbasedonLeapMo