机器视觉应用技术27人体姿态.docVIP

一、实验目的

1.了解基于深度学习的人体姿态技术。

2.掌握人体姿态模型的算法开发。

3.掌握AiCam框架的部署和使用。

二、实验内容

1.算法原理

1.1基本描述

姿态识别是通过人体骨骼关键点进行识别获得三维坐标信息进而推测人体的动作姿态。姿态识别实际上可以理解人体的运动姿态识别或者说是运动意图的预测。姿态识别在在诸多应用领域，如行为识别、人机交互、游戏、动画、虚拟现实、康复检测、机器人等都有着广阔的市场前景。视觉姿态识别是基于人体的运动方式和关键点之间的层次关系，利用深度学习的算法来识别动作信息，采用的是独特的软件算法，只需要配合常见的普通摄像头即可实现信息的采集，对比较复杂的场景，也能达到很好的识别效果。

1.2模型描述

?人体检测：

本实验采用的是Yolov3模型实现人体的检测，Yolov3是在计算机视觉领域应用的非常广泛的一个深度学习的模型，在目标检测、物体识别等任务中表现也非常出色。

Yolov3模型一共包含107层，0-74层为卷积层和res层，其目的是提取图片的上层特征，75-106层是三个yolo分支，使得模型具备检测、分类和回归的功能。由此可见Yolov3模型结构相对来时还是比较复杂。为了兼顾Yolov3在目标检测、物体识别的速度劣势，Yolov3-tiny是在yolov3模型基础上的一个简化，其作用就是为了兼顾准确率的同时适应训练、推理速度要求比较高的业务场景。Yolov3-tiny就是在Yolov3的基础上去掉了一些特征层，只保留了2个独立预测分支。

以下是Yolov3模型结构示意图：

姿态检测：

人体姿态估计是计算机视觉中一个很基础的问题。从名字的角度来看，可以理解为对“人体”的姿态（关键点，比如头、左手、右脚等）的位置估计。本实验采用OpenPose网络来进行人体姿态检测与识别。

OpenPose人体姿态识别项目是美国卡耐基梅隆大学（CMU）基于卷积神经网络和监督学习并以Caffe为框架开发的开源库。可以实现人体动作、面部表情、手指运动等姿态估计。适用于单人和多人，具有极好的鲁棒性。是世界上首个基于深度学习的实时多人二维姿态估计应用。

OpenPose提出了PartAffinityFields（PAFs）来实现人体姿态估计。PAFs是用来描述像素点在骨架中的走向，用L(p)表示；关键点的响应用S(p)表示。先看主体网络结构，网络采用VGGpre-trainnetwork作为骨架，有两个分支分别回归L(p)和S(p)。每一个stage算一次loss，之后把L和S以及原始输入concatenate，继续下一个stage的训练。随着迭代次数的增加，S能够一定程度上区分结构的左右。

2.功能设计

2.1功能描述

AiCam人工智能轻量化应用框架是一款面向于人工智能边缘应用的开发框架，采用统一模型调用、统一硬件接口、统一算法封装和统一应用模板的设计模式，实现了嵌入式边缘计算环境下进行快速的应用开发和项目实施。

AiCam为模型算法的调用提供RESTful调用接口，实时返回分析的视频结果和数据，同时通过物联网云平台的应用接口，实现与硬件的连接和互动，最终形成各色智联网产业应用。

AiCam框架如下图所示：

三、实验步骤

1.工程部署

1.1硬件部署

1）准备人工智能边缘应用平台，给边缘计算网关正确连接Wi-Fi天线、摄像头、电源。

2）按下电源开关上电启动边缘计算网关，将启动ubuntu操作系统。

3）系统启动后，连接局域网内的Wi-Fi网络，记录边缘计算网关的IP地址，比如：192.168.100.200。

1.2工程部署

1）运行MobaXterm工具，通过SSH登录到边缘计算网关（参考附录2）。

2）在SSH终端创建实验工作目录：

$mkdir-p~/aicam-exp

3）通过SSH将本实验工程代码和aicam工程包（DISK-AILab\02-软件资料\02-综合应用\aicam.zip）

上传到~/aicam-exp目录下（文件的上传参考附录2）。

4）在SSH终端输入以下命令解压缩实验工程：

$cd~/aicam-exp

$unzippersonpose_detection.zip

$unzipaicam.zip-dpersonpose_detection

2.工程运行

1）在SSH终端输入以下命令运行实验工程：

3.人体姿态检测

1）点击应用左侧的菜单选择“人体姿态识别”，应用将会在返回的视频流画面中检测人体及关键点