一种基于人体姿态估计的煤矿井下人员不安全行为识别方法 .pdfVIP

(19)中华人民共和国国家知识产权局

(12)发明专利说明书

(10)申请公布号CN109376673A

(43)申请公布日2019.02.22

(21)申请号CN201811289423.4

(22)申请日2018.10.31

(71)申请人南京工业大学

地址211816江苏省南京市浦口区浦珠南路30号

(72)发明人朱艾春张赛吴钱御华钢李义丰

(74)专利代理机构北京思创大成知识产权代理有限公司

代理人尹慧晶

(51)Int.CI

权利要求说明书说明书幅图

(54)发明名称

一种基于人体姿态估计的煤矿井下

人员不安全行为识别方法

(57)摘要

本发明的基于人体姿态估计的煤矿

井下人员不安全行为识别方法，针对当前

以人为中心的视频监控模式对于井下人员

不安全行为的监控存在人工监视持续时间

受限、多场景同时监视困难、人工监视结

果处理不及时等问题，在煤矿视频监控系

统中引入智能分析技术，通过基于生成对

抗训练的困难样本挖掘沙漏网络(Hourglass

NetworkswithHardMining)提取煤矿井下

人员的姿态信息。然后，根据提取的人体

姿态信息在监控视频中运行轨迹来判断煤

矿井下人员的行为是否异常，精准地发现

发出报警提示，做到防患于未然，保障煤

矿安全生产。

法律状态

法律状态公告日法律状态信息法律状态

2022-02-25授权授权

2019-03-19实质审查的生效实质审查的生效

2019-02-22公开公开

权利要求说明书

1.一种基于人体姿态估计的煤矿井下人员不安全行为识别方法,其特征在于,该方法

包括以下步骤:

步骤1、预设若干种煤矿井下人员的不安全行为,获取前述不安全行为对应的视频信

息,通过人工标记的方式标定前述视频信息中的骨架信息,得到训练数据集,并对前述

训练数据集进行基于对抗学习的困难样本挖掘沙漏网络训练,获取模型,将视频信息

中的骨架信息按时间轴形成的运行轨迹和前述模型存储至数据库;

步骤2、采用监控设备,实时读取煤矿监控视频,将视频分解成图像;

步骤3、对读取的图像中井下人员进行姿态估计,采用基于对抗学习的困难样本挖掘

沙漏网络模型提取井下人员的骨架信息;

步骤4、将前述煤矿井下人员的骨架信息按照时间轴形成运动轨迹与步骤1中预设

的几种煤矿井下人员的不安全行为的骨架运行轨迹中的坐标进行误差计算,误差小

于预设的阈值为不安全行为,发出报警提示,否则,不做处理。

2.根据权利要求1所述的基于人体姿态估计的煤矿井下人员不安全行为识别方法,其

特征在于,所述的不安全行为矿工攀坐平台护栏、井下摘掉安全帽和冒险进入危险

场所。

3.根据权利要求1所述的基于人体姿态估计的煤矿井下人员不安全行为识别方法,其

特征在于所述步骤1中对训练数据集进行基于对抗学习的困难样本挖掘沙漏网络训

练,获取模型的方法具体为:

步骤1.1、构建基于对抗学习的困难样本挖掘沙漏网络模型,包括子沙漏网络G和子

沙漏网络D,所述的子沙漏网络G作为生成器Generator,用于生成井下人员姿态热图;

所述的子沙漏网络D为鉴别器Discriminator,用于在生成的热图数据中鉴别出煤矿

井下人员姿态,每一个子沙漏网络由N个沙漏单元堆积而成;

步骤1.2、获取煤矿监控图像样本I、及样本中人员目标标记的骨架点坐标X作为

困难样本挖掘沙漏网络的输入;

步骤1.3、将图像样本I输入子沙漏网络G中生成热图

并通过标记的骨架点信息X生成关于各个骨架点的真值热图H

ij

;其中i表示第i个沙漏单