机器视觉应用技术25手势识别.docxVIP

机器视觉应用技术手势识别

一、实验目的

1.了解基于深度学习的手势识别技术。

2.掌握人手检测和手势识别模型的算法开发。

3.掌握AiCam框架的部署和使用。

二、实验内容

1.算法原理

1.1基本描述

手势识别在实际应用中的需求非常广泛，比如聋哑人沟通用的手语、游戏中用的手势识别动作、智能家居、智能驾驶等，用户可以使用简单的手势来控制或与设备交互，让计算机理解人类的行为。手势识别包括人手检测和手势识别两部分内容。

1.2模型描述

?人手检测：

人手检测是基于NanoDet网络，NanoDet是一种FCOS式的单阶段anchor-free目标检测模型，它使用ATSS进行目标采样，使用GeneralizedFocalLoss损失函数执行分类和边框回归（boxregression），NanoDet网络结构如下所示：

NanoDet使用了GeneralizedFocalLoss损失函数，该函数能够去掉FCOS的Centerness分支，省去这一分支上的大量卷积，从而减少检测头的计算开销，非常适合移动端的轻量化部署，结构如下：

FCOS系列使用了共享权重的检测头，即对FPN出来的多尺度FeatureMap使用同一组卷积预测检测框，然后每一层使用一个可学习的Scale值作为系数，对预测出来的框进行缩放。

手势识别：

手势检测是将人手的骨骼点检测出来并连成线，将整个手的结构绘制出来，手势姿态估计是计算机视觉中一个很基础的问题。从名字的角度来看，可以理解为对“人手”的姿态（关键点，比如大拇指，中指，食指等）的位置估计。

HandPose模型通过检测图片中所有的人手关键点，然后将这些关键点对应到不同的人手个体上。

HandPose是基于OpenPose肢体姿态模型的原理，通过PartAffinityFields（PAFs）来实现人手姿态的估计。PAFs是用来描述像素点在骨架中的走向，用L(p)表示；关键点的响应用S(p)表示。先看主体网络结构，网络采用VGGpre-trainnetwork作为骨架，有两个分支分别回归L(p)和S(p)。每一个stage算一次loss，之后把L和S以及原始输入concatenate，继续下一个stage的训练。随着迭代次数的增加，S能够一定程度上区分结构的左右。

2.功能设计

2.1功能描述

AiCam人工智能轻量化应用框架是一款面向于人工智能边缘应用的开发框架，采用统一模型调用、统一硬件接口、统一算法封装和统一应用模板的设计模式，实现了嵌入式边缘计算环境下进行快速的应用开发和项目实施。

AiCam为模型算法的调用提供RESTful调用接口，实时返回分析的视频结果和数据，同时通过物联网云平台的应用接口，实现与硬件的连接和互动，最终形成各色智联网产业应用。

三、实验步骤

1.工程部署

1.1硬件部署

1）准备人工智能边缘应用平台，给边缘计算网关正确连接Wi-Fi天线、摄像头、电源。

2）按下电源开关上电启动边缘计算网关，将启动ubuntu操作系统。

3）系统启动后，连接局域网内的Wi-Fi网络，记录边缘计算网关的IP地址，比如：192.168.100.200。

1.2工程部署

1）运行MobaXterm工具，通过SSH登录到边缘计算网关（参考附录2）。

2）在SSH终端创建实验工作目录：

3）通过SSH将本实验工程代码和aicam工程包（DISK-AILab\02-软件资料\02-综合应用\aicam.zip）

上传到~/aicam-exp目录下（文件的上传参考附录2）。

4）在SSH终端输入以下命令解压缩实验工程：

2.工程运行

1）在SSH终端输入以下命令运行实验工程：

3.手势识别

1）点击应用左侧的菜单选择“手势识别”，应用将会在返回的视频流画面中检测并识别手势。

2）当摄像头视窗中出现人手时，应用将会在实时视频流上面标记出人手位置，并绘制出人手骨骼关键点，计算出手势表示的内容，在实验结果处，会显示手势信息。

3）根据识别的手势骨骼关键点，优化算法让识别精度更准确。