基于深度学习的人体姿态估计算法研究.pdf

基于深度学习的人体姿态估计算法研究

摘要

随着深度学习的发展，计算机视觉领域取得了巨大的突破与创新。在逐步解决物体

分类与检测问题之后，如何识别人的行为动作、实现与人有关的图像分析成为迈向高级

计算机视觉的重要一环。人体姿态估计作为这一研究的基础，应用前景广阔，受到广泛

的关注。然而，受限于关节姿态的多样性，传统的回归方法大多难以精确预测人体关键

点的位置，当前良好的热图模型在边缘设备的部署上困难重重，其他卷积网络的设计也

存在着非端到端、训练时间长等缺点，一个良好的模型结构仍然有待探索。为此，本文

从检测精度与运行效率出发，分别对不同需求下的人体姿态估计算法进行了研究。

本文首先将姿态估计看作无序集合预测任务，采用目标检测的思想去解决。基于这

一观点，本文提出了由卷积神经网络和Transformer组成的双分支多尺度框架，称为TPNet。

TPNet对卷积主干所得到的多级特征图进行融合，提高特征复用性，丰富网络多尺度信

息。此外，模型通过添加热图分支来辅助训练，监督中间特征图的生成，热图分支可以

在推理时丢弃，而无需任何额外的运行时间。最后，锚点预测被用于网络当中，加快训

TPNetCOCOMPIIResNet

练收敛速度，提升模型预测精度。分别在和数据集上以为主

干实现了71.1AP和87.4PCKh，实验结果表明，该方法在没有增加多余运算量的同时，

显著增强了姿态回归的准确性，表现出良好的效果。

现有的大容量模型通常可以获得准确的检测结果，然而其在实际应用场景下的部署

面临很多困难。为解决这一问题，本文引入重参数化网络结构，结合残差似然估计思想，

设计了一种轻量级的姿态回归算法—RepNet。该方法利用精心设计的卷积架构进行训练，

通过重构各级参数精简网络模型，优化检测任务的推理时间和运行效率；同时基于极大

似然估计建模输出数据，借助流生成模型学习底层分布的可逆变换，有效提升预测性能。

RepNetGPU15msCPU40msCOCO66.1AP

以端和端的推理速度，在数据集上实现了

的检测精度，解决了预测准确率与计算复杂度之间的矛盾，为轻量化姿态估计的研究做

出了绵薄的贡献。

关键词：人体姿态估计；Transformer网络；多尺度融合；结构重参数化；残差似然估计

基于深度学习的人体姿态估计算法研究

ABSTRACT

Withthedevelopmentofdeeplearning,significantbreakthroughsandinnovationshave

beenmadeinthefieldofcomputervision.Aftergraduallysolvingtheproblemofobject

classificationanddetection,howtorecognizehumanbehavioractionsandachieveimage

analysisrelatedtohumanshasbecomeanimportantpartofadvancingtowardsadvanced

computervision.Asthefoundationofthisresearch,humanposeestimationhasbroad

applicationprospectsandhasreceivedwidespreadattention.However,duetothediversityof

jointpose,mostofthetraditionalregressionmethodsaredifficulttoaccuratelypredictthe

positionofkeypoint