基于穿戴式传感器的手势识别方法研究.pdfVIP

宁波大学专业硕士学位论文

基于穿戴式传感器的手势识别方法研究

摘要

随着信息技术的发展，计算机的软硬件计算能力和性能得到大幅提高，人机交互

方式已经成为影响计算机技术领域发展的重要因素之一。更加智能化、轻便化的人机

交互系统已经逐步成为研究热点，其中手势作为人们生活中最常用的动作之一，手势

识别技术及其应用也迎来了更广阔的前景。基于穿戴式传感器的手势识别技术具有易

携带、交互性强和不易受环境因素干扰的特点，所以在利用算法保证一定识别率的情

况下，基于穿戴式传感器的手势交互方案在很多场景下都具有其他手势识别技术所不

能比拟的优势。

本文研究了用于柔性数据手套的手势识别方法及其应用，能够实现对特定场景下

战术手势等复杂手势的准确识别。在实际系统实现中，设计了上位机数传模块，利用

程序对传感器进行实时采样，利用计算机训练分类模型，由客户端与用户交互。其

中，传感器数据的实时采集与分割；用户操作及使用场景的复杂性易带来传感数据的

抖动、跳跃的情况；不同用户的使用习惯和手型骨架有一定差异，手势数据集制作的

难度较大和人机交互系统的识别速度和精度需要兼顾都是该识别技术上的难点和研究

中需要解决的问题。本研究的主要研究内容包括以下几个方面：

（1）针对数据手套开发了用于串口数据蓝牙通信的上位机软件。要实现穿戴式传

感器对手势姿态的数据获取功能，首先对穿戴式传感器进行分析和数据获取。本研究

采用的是柔性传感数据手套，在批量读取数据和解码时具有较大的难点，手势传感数

据即时读取要依赖程序解析，本文针对这个问题开发了具有良好交互的串口上位机并

在此基础上建立了柔性手套手势数据集Elas-Hand。

（2）设计了基于多模态传感数据的手势识别算法模型。通过对传感器数据的特征

分析，提出一种分离式的手势识别模型。针对信号单一稳定的静态手势，采用机器学

习方法中的SVM算法，实现了算法模型对速度和精度的兼顾；针对信号复杂多变的动

态手势，在建立手势库的基础上，提出了手势与手形分离的特征提取手段，对动态手

势时序信号采用多流卷积与多层次特征融合的方法MSMF-1DCNN。实验结果表明，在

数据集Elas-Hand上静态手势平均识别率达83.27%，动态手势平均识别率达98.56%。

3QT

（）基于移动和客户端技术分别开发了用于终端的手势交互系统。在实时手

势流分割方面，提出了一种综合采用惯性数据与拉伸数据的差分放大截取算法与切割

-I-

基于穿戴式传感器的手势识别方法研究

流程，该方法能有效的截取手势数据。实验结果表明，系统能够实时有效的从数据流

中分离静态与动态手势数据，在自建数据集上平均分割准确度达80.47%。

（4）为拓展穿戴式传感器在人机交互领域的应用，本研究还验证了数据手套手势

识别技术与智能设备控制应用结合的可行性。以手势模型为基础，通过改变手势含

义，实现对无人车、无人机的非接触式手势控制，实现了穿戴式手势识别技术方案在

无线手势控制方面的应用。

关键词：柔性数据手套，多流一维卷积，连续手势分割，手势识别，上位机软件

-II-

宁波大学专业硕士学位论文

Researchongesturerecognitionmethodbasedon

wearablesensor

Abstract

Withthedevelopmentofinformationtechnology,thecomputingpowerandperformance

ofcomputerhardwareandsoftwarehavebeengreatlyimproved.Human-computerinteraction

hasbecomeoneoftheimportantfactorsaffectingt