MediaPipe集成人脸识别，人体姿态评估，人手检测模型.pdfVIP

MediaPipe集成⼈脸识别，⼈体姿态评估，⼈⼿检测模型 ，我们介绍了MediaPipe H listic的基础知识，了解到MediaPipe H listic分别利⽤MediaPipe P se，MediaPipe Face Mesh和MediaPipe Hands中的姿势，⾯部和⼿界标模型来⽣成总共543个界标 （每⼿33个姿势界标，468个脸部界标和2 1个⼿界标）。 对于姿势模型的精度⾜够低以⾄于所得到的⼿的ROI仍然不够准确的情况，但我们运⾏附加的轻型⼿重新裁剪模型，该模型起着的作⽤，并 且仅花费了⼿模型推断时间的10％左右。 MediaPipe MediaPipe 是⼀款由 G gle Research 开发并开源的多媒体机器学习模型应⽤框架。在⾕歌，⼀系列重要产品，如 、G gle Lens、 ARC re、G gle H me 以及 ，都已深度整合了 MediaPipe。 MediaPipe图⽚检测 作为⼀款跨平台框架，MediaPipe 不仅可以被部署在服务器端，更可以在多个移动端 （安卓和苹果 iOS）和嵌⼊式平台 （G gle C ral 和树莓派）中作为设备端机器学习推理 （On-device Machine Learning Inference）框架。 ⼀款多媒体机器学习应⽤的成败除了依赖于模型本⾝的好坏，还取决于设备资源的有效调配、多个输⼊流之间的⾼效同步、跨平台部署上的 便捷程度、以及应⽤搭建的快速与否。 基于这些需求，⾕歌开发并开源了 MediaPipe 项 ⽬。除了上述的特性，MediaPipe 还⽀持 Tens rFl w 和 TF Lite 的推理引擎 （Inference Engine），任何 Tens rFl w 和 TF Lite 的模型都可以在 MediaPipe 上使⽤。同时，在移动端和嵌⼊式平台，MediaPipe 也⽀持设备本⾝的 GPU 加速。 MediaPipe 主主要要概概念念 MediaPipe 的核⼼框架由 C++ 实现，并提供 Java 以及 Obj ective C 等语⾔的⽀持。MediaPipe 的主要概念包括数据包 （Packet）、数 据流 （Stream）、计算单元 （Calculat r）、图 （Graph）以及⼦图 （Subgraph）。数据包是最基础的数据单位，⼀个数据包代表了在 某⼀特定时间节点的数据，例如⼀帧图像或⼀⼩段⾳频信号 ；数据流是由按时间顺序升序排列的多个数据包组成，⼀个数据流的某⼀特定时 间戳 （Timestamp）只允许⾄多⼀个数据包的存在 ；⽽数据流则是在多个计算单元构成的图中流动。MediaPipe 的图是有向的——数据包 从数据源 （S urce Calculat r或者 Graph Input Stream）流⼊图直⾄在汇聚结点 （Sink Calculat r 或者 Graph Output Stream） 离 开。 MediaPipe 的核⼼框架 若我们想使⽤MediaPipe ， ⾸先，在我们的电脑cmd命令框中输⼊ python – m pip install MediaPipe安装第三⽅模型， 然后我们便可以使⽤代码来进⾏图⽚或者视频的检测了， 此模型最主要的优点是不需要我们下载预训练模型，只是安装上其mediapipe包即可 MediaPipe 图⽚检测 Mediapipe 模模型型的的图图⽚⽚代代码码检检测测 import cv2 import mediapipe as mp mp_drawing = mp.solutions.drawing_ utils mp_ holistic = mp.solutions.holistic file = 4.jpg holistic = mp_ holistic. olistic(static_ image_ mode=True) image = cv2.imread(file) image_ hight, image_width, _ = image.shape image = cv2.cvtColor(image, cv2.COLOR_ BGR2RGB) results = holistic.process(image) ⾸先，我们导⼊需要的第三⽅库，并配置⼀下需要画图的点的尺⼨，线的尺⼨以及颜⾊等，这些信息都可以⾃⾏修改，这⾥我们直接引⽤官 ⽅的配置进⾏设