基于区域的手指的三维运动跟踪.PDFVIP

基于区域的手指的三维运动跟踪 潘春洪 马颂德 中国科学院自动化研究所 模式识别国家重点实验室北京:100080 Email: chpan@nlpr.ia.ac.cn 摘要: 在本文中，我们介绍了基于区域的多连接体（手指）的三维运动跟踪。我们首先用多约束融合的方法 以及手指的运动特性，得到初始幀手指的三维结构，然后根据刚性多连接体的运动模型，以及相应的姿势约 束模型，给出了这一特殊运动模型三维运动估计的优化算法，最后利用区域跟踪的方法获取它的三维运动， 并在真实的手指序列图像中实现了我们的算法；实验结果证实了该方法的有效性。 关键词: 三维运动跟踪, 约束融合, 刚性多连接体, 图像序列 Region-Based 3D Motion Tracking of Hand Abstract: In this paper, we propose a region-based 3D motion tracking on multi-linkage. Firstly by constraint fusion and special properties on fingers, we obtain the initial 3D structure of finger from the image, and then by the motion properties of rigidity multi-linkage and corresponding gesture constraints ，we give the general descriptions of 3D region tracking of this linkage, finally we apply the techniques to 3D motion tracking of hand. The experiment with real images is included to demonstrate the validity of the theoretic results. Key Words: 3D motion tracking, Constraint fusion, Rigidity multi-linkage, Image sequence 引言 手势识别和手的运动跟踪在人机交互中技术中起着重要的作用，由于各种原因，手的三维运动跟踪显得非 常困难。迄今为止，除了运动捕捉系统（光学、电磁波）和数据手套以外，几乎没有特别鲁棒的手的三维运 动跟踪方法，更谈不上对手的三维运动进行实时跟踪。这方面存在的主要困难有： 手指的三维运动是一种既非形变也非刚体的多自由度的运动，因此在跟踪过程中需要同时估计很多个运动 参数。另外由于人的观察力敏锐，任何微小的错误运动都很容易被看出，因此在实际的运动跟踪中需要获取 非常精确的三维运动。再者，手运动时，仅仅通过一个摄像机是不可能始终跟踪手的所有部分，其某一部分 经常会遮挡另一部分，由于遮挡，这部分信息就会在图像序列中丢失，从而不可能跟踪或估计出这部分结构 的三维运动。 目前，主要有三种三维运动估计的方法： 基于特征点：这种方法的最大困难在于如何从人的序列运动图像中获取高精度的特征点匹配 [1 ，2] 。虽 然此类方法中的运动捕捉系统和数据手套比较有效，但该系统需要在关节上安放特殊的标志和穿戴特殊的设 备，以便在序列图像中准确跟踪这些特殊的标志 [3] 。这种系统由于需要安放特殊的标志和穿戴特殊的设备， 因而极大地约束了它的应用范围。 基于边缘特征：这种方法通常需要比较简单的背景，以便能够从背景中分割出运动物体的边缘 [4, 5] 。但 通常情况下，即使有简单的背景，这也很难做到有效的分割。因为衣服的许多皱褶和皮肤的相似性足以使许 多图像分割的方法不可能从背景中分割出有语义的身体和手指的各个部分。 基于区域特征：这种方法绝大部分是通过基于光流的匹配模板来实现的 [13] ，其跟踪误差是逐步积累的， 因而随着跟踪帧数的增加，误差也越来越大，从而产生错误的匹配，而且一旦产生错误匹配，由于没有反馈 过程，就不可能回到正确的匹配中去。 事实上，手指的运动有