基于特征表达和属性挖掘的人体动作识别研究-信息与通信工程专业论文.docx

研究生优秀毕业论文 中国科学技术大学学位论文原创性声明本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的成 中国科学技术大学学位论文原创性声明 本人声明所呈交的学位论文，是本人在导师指导下进行研究工作所取得的成 果。除已特别加以标注和致谢的地方外，论文中不包含任何他人已经发表或撰 写过的研究成果。与我一同工作的同志对本研究所做的贡献均已在论文中作了 明确的说明。 作者签名：．春兰．许 签字日期：塑皇：鱼：仝 中国科学技术大学学位论文授权使用声明 作为申请学位的条件之一，学位论文著作权拥有者授权中国科学技术大学 拥有学位论文的部分使用权，即：学校有权按有关规定向国家有关部门或机构 送交论文的复印件和电子版，允许论文被查阅和借阅，可以将学位论文编入 《中国学位论文全文数据库》等有关数据库进行检索，可以采用影印、缩印或扫 描等复制手段保存、汇编学位论文。本人提交的电子文档的内容和纸质论文的 内容相一致。 必威体育官网网址的学位论文在解密后也遵守此规定。 d公开 口必威体育官网网址．_ 年 作者签名：签兰：叠 导师签名： 签字日期： 塑!竺：鱼：全 万方数据 摘要摘要 摘要 摘要 作为计算机视觉领域的一个基础问题，人体动作识别旨在通过算法让机器 对人体动作视频实现语义上的理解和分析。基于人体动作识别的潜在应用包括 了智能监控、视频内容分析以及入机交互、智能家居等多个领域。正是这样广 泛的应用场景和潜在的应用价值，在计算机视觉领域，大量的科研工作和研究 课题围绕人体动作识别展开。然而，人体动作识别又是一个非常有挑战性的研 究课题，存在诸多难点。在动作视频中，往往存在着背景复杂、人体遮挡、摄 像头移动与缩放等问题。即使在带有深度信息的动作视频中，背景噪声、人体 骨架检测的漂移，以及同一动作类别下由于动作类别的语义范围大而造成的类 内差异较高的问题仍然存在。针对这些问题，本文从人体动作视频的表达出发， 通过对人体动作视频数据的底层特征提取、中层属性挖掘以及利用深度学习模 型进行特征学习的研究，探究视频中人体动作的合理有效的表达，并最终利用 机器学习模型进行人体动作分类识别。 本文的研究内容主要集中在对动作视频的特征表达和属性挖掘上，分别从 底层特征表达、动作属性挖掘以及多特征融合的三个角度来探究人体动作视频 的有效表达在视频动作分类上的作用。本文的主要工作和创新之处可以总结为 以下几点： (1)针对带有深度信息的人体骨架数据，设计了合理的底层特征表达方 式，并采用了马尔可夫随机场模型结合骨架序列本身的空间约束性和时间一致 性，对特征空间进行编码，抑制了特征空间因为噪声数据存在的类内差异过大 和类间区分性不够的问题。同时针对应用场景的特性，改进了多示例学习模型， 提出了基于模式的多示例学习模型，学习各动作类别中具有区分性的骨架运动， 用于低延时识别系统中每帧骨架与各动作类别相关程度的衡量。 (2)针对带有深度信息的人体骨架的数据，改进并完备了底层人体骨架特 征，并设计出有效地属性挖掘方法，尽可能减少底层特征到高层语义之间的鸿 沟。同时完全采用数据驱动的方式挖掘属性特征，在实现有效可靠的人体骨架 动作识别系统的同时，提出自动生长的属性空间模型，能够在识别过程中，实 现属性空间的扩展，探究可扩展的人体动作识别系统的可能性。 (3)针对传统的RGB视频数据，在应用于图像分类的卷积神经网络的基 础上，通过稠密轨迹对视频中具有运动主体区域检测并进行跟踪，并利用卷积 神经网络对提取运动主体的外观特征，同时沿着稠密轨迹的邻域，提取相应的 局部运动特征。采用了AdaBoost算法，实现多特征融合有效地表达动作视频， 讨论其在动作视频分类上的性能。 总而言之，本文针对基于视频的人体动作识别问题，从视频的特征设计和 提取以及动作属性的挖掘等多个角度来对视频数据进行表达，同时涉及到带有 T 万方数据 摘要深度信息的人体骨架序列的动作分类和不带有深度信息的传统RGB空间下的 摘要 深度信息的人体骨架序列的动作分类和不带有深度信息的传统RGB空间下的 视频数据中的动作分类。针对不同的应用场景，考虑了不同侧重点的解决方案。 在基于人体骨架的动作分类上，更多地考虑动作分类系统的低延时性和可扩展 性；在针对传统视频数据的动作识别上，本文更侧重于从模型的理论方法上寻 求新的解决方案。三个方面的工作都做了充分的调研和实验验证，从而证明提 出方法的有效性，也对下一步的研究方法给予启示和指导。 关键词： 动作识别，深度信息，低延时动作识别，可扩展动作识别，动作属 性，人体骨架，卷积神经网络 万方数据 ABSlRACTABSTRACT ABSlRACT ABSTRACT Human action recognition is a fundamental and challenging top