一种鲁棒长期人脸特征点跟踪系统.doc

一种鲁棒长期人脸特征点跟踪系统 　　摘要：人脸特征点定位对人脸分析等领域有着重要作用，为了提高人脸特征点定位的准确性及跟踪的鲁棒性，提出一种鲁棒的长期人脸特征点跟踪系统。该系统有效结合了人脸检测、中值光流法和深度学习模型人脸特征点定位方法。首先，深度模型对当前帧的人脸进行特征点定位；其次，中值光流法跟踪当前帧的特征点，通过有效的跟踪的特征点评估下一帧的人脸位置；再次，通过提出的跟踪校验方法对跟踪结果进行校验；最后，利用深度模型对下一帧的人脸特征点进行修正。实验结果表明，提出的动态方法在公开的数据集上取得更好的结果 关键词：人脸特征点跟踪；人脸检测；中值光流法；深度学习；跟踪校验 中图分类号：TP393 文献标识码：A 文章编号：1009-3044（2017）08-0174-04 人脸特征点定位指的是通过监督或半监督的方式定位人脸关键点的技术，人脸关键点包括眼睛、鼻子、嘴巴、甚至是人脸下巴轮廓等。由于人脸的特征点蕴含了人脸的语义信息，对人脸识别、表情分析、人脸姿态估计等起着关键性作用而受到广泛关注。目前研究比较广泛人脸特征点定位方法可以分为两类：生成模型和回归模型 生成模型的典型代表是主动外观模型（AAM）vj和主动形状模型（ASM），它们都通过迭代的方式优化表观参数并构建模型。ASM通过训练集中人工标记得人脸形状来构建全局形状模型。AAM则在ASM的形状模型基础上，建立了全局的人脸纹理模型。ASM可以快速的定位到人脸特征点，而AAM可以定位到更精确的特征点。但在大姿态、光照影响造成的纹理不清晰等复杂背景下，两者均较难得到最优的人脸特征点 回归模型则通过直接学习人脸特征与人脸特征点之间的映射关系。Xiong等。提出监督下降法（SDM）通过监督学习的方式建立手工设计的人脸形状特征与特征点之间的线性回归模型。Kazemi等提出组合回归树的方法实现人脸对齐，并由于在静态图像人脸特征点定位中任务中具有准确实时特性，被用于人脸特征点跟踪中 近年来，深度学习成为热门的研究，深度学习在分类、回归分析等领域都取得了突破性进展。同样，基于深度学习的方法比传统的人脸特征点定位方法表现出更优异的性能，因为深入学习可以利用原生大数据进行训练，挖掘大数据内在的数据结构，而不需要手动设计特征。Sun等提出级联的深度卷积神经网，并采用由粗到细的方式对人脸的五个关键特征点（眼睛中心、鼻尖和嘴角）进行定位。但该网络结构很难拓展到大规模的人脸特征点定位中。Zhang等提出四层的层叠自动编码器网络，每层网络都考虑到全局特征，充分挖掘了特征点之间的几何约束，在遮挡情况有更好的鲁棒性 尽管人脸特征点定位在静态图像中取得很大成功，但在真实的非约束环境中，由于表情、光照、遮挡、姿态以及视频质量的原因，长期的人脸特征点跟踪研究却较少受到关注。幸运的是，300VW最近提出了一个新的特征点跟踪的基准，涵盖了在无约束的环境中的人脸特征点跟踪，包含了各种照明条件下，在任意表达式，并可能被其他对象遮挡 目前，人脸特征点跟踪可以分为以下三种架构： 1）人脸检测+特征点定位被称为跟踪一检测（tracking-by-detection）。该方式将视频序列视为由独立的视频序列组成，采用静态图像的处理方式，对视频序列的每一帧先进行人脸检测器来定位到人脸位置，再提取检测到的人脸的特征点。该方式的优点是不会产生漂移，特征点的定位比较准确和稳定。尽管人脸检测方法比较成熟，但仍然存在误检和漏检问题，这一点在真实的非约束环境中体现尤为明显 2）目标跟踪+特征点定位该方式对人脸目标进行跟踪，并提取所跟踪到目标的特征点。跟踪算法虽可以弥补人脸检测的不足，但由于跟踪漂移问题，无法实现长期跟踪 3）混合系统混合系统有效结合现有的人脸检测、跟踪和人脸特征点定位算法来提高人脸特征点跟踪的鲁棒性 OpenFace是一个集成人脸特征点跟踪、头部姿态估计、实现估计等功能的综合人脸行为分析开源工具。OpenFace的人脸特征点跟踪中，集成了现有的人脸检测、跟踪、人脸特征点定位方法。该论文表明在特征点跟踪领域取得了最好的人脸特征点跟踪效果。但现有的系统模型比较复杂，需要额外在线学习人脸分类器。同时，所采用特征点定位算法均为传统的算法，特征点定位的精度仍有待提高。因此，本文提出了一种简化的跟踪系统，并且将深度学习模型引入系统中 1人脸特征点跟踪系统 提出的鲁棒的长期人脸特征点跟踪混合系统，如图1所示。该系统可以分解为三个子任务：人脸检测、人脸特征点定位和跟踪；包括四个模块：人脸检测、人脸特征点定位、特征点跟踪和跟踪校验 跟踪系统处理过程如下： 第一步：对视频序列第一帧或需要重新初始化的视频帧进行全局的人脸检测定位到初始的人脸框。根据初始人脸框和目标人脸框的