基于多层特征融合的手势识别算法研究.pdfVIP

摘要

随着智能设备的发展，手势作为人机交互的方式渐渐被人们所习惯，因此手势识别技术

变得尤为重要。目前基于计算机视觉的手势识别技术依然存在诸多限制，在复杂背景下的手

势识别容易受到环境因素的干扰，如光照条件变化，背景杂物的遮挡等；再加上手势自身的

翻转、重叠以及区域占比小等问题，使得提取单一特征的方法已经无法完成准确识别手势的

需求。

针对传统手势识别方法中特征描述单一的问题，本文基于机器学习与深度学习两种框架，

提出了两种改良的手势识别算法，并开展和完成了两种算法的代码实现、数据集测试、平台

验证等工作。具体完成的研究工作如下：

1.针对传统方向梯度直方图（HistogramofOrientedGradient，HOG）信息单一和易受到

颜色信息影响的问题，提出了一种基于特征融合方法的新型特征向量HOG-C，增加了颜色信

息与手势关键特征的关联性。HOG-C特征利用YCbCr色彩空间建立肤色椭圆模型，标记图

像中的肤色区域，并对其增加权重系数建立颜色梯度直方图；利用通道压缩的方法重建HOG

特征向量，将包含手势关键信息的通道进行比例放大，得到HOG-C特征向量；最后利用支持

向量机（supportvectormachines,SVM）进行训练，识别出正确的手势区域。该算法在Egohands

数据集上进行测试，平均准确率达到了93.47%，在类肤色干扰下的识别效果有较大的提升。

2.针对传统FasterR-CNN网络检测小目标手势的识别率较低问题，提出了一种结合特征

金字塔网络（FeaturePyramidNetworks，FPN）的改良结构，提升了整体模型在不同尺度上检

测手势目标的能力。本文选用ResNet-50残差网络作为特征提取网络来减少特征信息的缺失，

并加入卷积块注意力模块（ConvolutionalBlockAttentionModule，CBAM）对网络框架进行融

合优化，同时设计对比实验，筛选出CBAM模块最佳插入位置，加强了整体网络模型对上下

文信息的的捕获能力，进一步提高了对小目标手势的检测准确率。该算法在Egohands数据集

上进行测试，达到了96.88%的准确率。

3.针对两种改良算法，我们搭建了一套用于手势识别的智能监控云台，并在该平台开展

了算法的实测验证。该平台选用树莓派CM4作为核心系统，Pi-Camera摄像头作为图像采集

设备。选取六种不同的场景进行算法测试和分析，基于HOG-C特征的识别算法平均识别率达

到95.9%，平均识别时间为144毫秒，适用于对识别准确率要求不高的实时监控场景；Faster

R-CNN改良模型的平均识别率达到98.9%，平均识别时间为1278毫秒，适用于对准确率要

求较高但识别速率要求低的识别平台。

关键词：手势识别，特征提取，特征融合，HOG，FPN，FasterR-CNN

ABSTRACT

Withthedevelopmentofsmartdevices,gestureasawayofhuman-computerinteractionis

graduallybeingaccustomedto,sogesturerecognitiontechnologybecomesparticularlyimportant.

Thegesturerecognitiontechnologybasedoncomputervisionstillhasmanylimitations.Thegesture

recognitionincomplexbackgroundsiseasilydisturbedbyenvironmentalfactors,suchaschangesin

lightingconditionsandbackgroundclutter;coupledwiththeproblemsofflip,overlapandsmallarea

shareofthegestureitself,themethodofextractingasinglefeaturecannolongerfulfillthed