多模态融合人体姿态估计技术在协同作业系统中的应用.docxVIP

多模态融合人体姿态估计技术在协同作业系统中的应用

目录

一、内容简述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

1.1研究背景与意义．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．6

1.1.1协同作业系统发展现状．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．8

1.1.2人体姿态估计技术的重要性．．．．．．．．．．．．．．．．．．．．．．．．．．．．11

1.1.3多模态融合技术的优势．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

1.2国内外研究现状．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．15

1.2.1人体姿态估计技术发展历程．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

1.2.2多模态信息融合方法研究．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

1.2.3协同作业系统中的姿态感知应用．．．．．．．．．．．．．．．．．．．．．．．．20

1.3研究内容与目标．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．22

1.3.1主要研究内容．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．24

1.3.2预期研究目标．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．26

1.4技术路线与创新点．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．27

1.4.1技术实现路径．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．30

1.4.2本研究的创新之处．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．32

二、相关关键技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．34

2.1人体姿态估计技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．39

2.1.1基于观测模型的方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．41

2.1.2基于学习的的方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．43

2.1.3关键点检测与跟踪．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．47

2.2多模态信息融合技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．49

2.2.1融合框架与方法．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．50

2.2.2特征层融合．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．53

2.2.3决策层融合．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．54

2.3协同作业系统基础．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．56

2.3.1协同作业系统架构．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．58

2.3.2人机交互技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．60

2.3.3环境感知技术．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．62

三、基于多模态融合的人体姿态估计方法．．．．．．．．．．．．．．．．．．．．．65

3.1数据采集与预处理．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．67

3.1.1多源数据采集．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．68

3.1.2数据同步与校准．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．73

3.1.3数据增强与降噪．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．74

3.2特征提取与表示．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．76

3.2.1视觉特征提取．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．79

3.2.2其他模态特征提取．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．80

3.2.3特征降维与选择．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．84

3.3多模态融合策略．．．