三维可形变模型在人脸识别领域的应用.ppt

-----三维可行变模型在 人脸识别中的应用 蔡英 2015.5.7 维度？ 0维指点，且这个点没有大小，只表位置 1维指线，没有宽度的线，但长度可以延伸 2维指平面，但平面没有厚度，只是无限延伸 3维指立体，就有厚度了，体现我们现在所处的空间 4维嘛~很多人很难说清楚，有些人说是时间，有些人说是2维、3维在数学上的直接推广，甚至说，把一个四维立方体展开后是六个普通立方体！ 更高维呢，就很抽象了，一般来讲没有什么明确概念，甚至数学家与物理学家都有不同意见；比较费解的是，竟然有些物理学家认为宇宙有11维！ 3D Morphable Model 能做什么？ 3DMM 在1999年提出时，模型对胖瘦，年龄，表情等都做了考虑。 后来的应用中主要使用重建出的3维模型来做识别。 简单的应用 输入的2维图片 3DMM 得到：光照、姿态、形状无限接近输入的2维图片的一个三维模型。 3DMM 发展 1999年Volker Blanz ，Thomas Vetter在计算机图形学顶级年度会议 SIGGRAPH(Special Interest Group for Computer GRAPHICS,计算机图形图像特别兴趣小组）上发表第一篇关于3DMM的文章A?Morphable Model?For The Synthesis Of?3D?Faces 迄今16年，被引用次数高达2363 2003 年9月他们两人再次在PAMI上发表Face recognition based on fitting a?3D morphable model ?被引用次数：1255? 2009年 Paysan, P. Romdhani，S.Thomas Vetter 在2009 Advanced Video and Signal Based Surveillance 上发表A 3D Face Model for Pose and Illumination Invariant Face Recognition被引用次数：70 。 首次提出BFM 贝塞尔face model 一个提供公开下载的3D face model。 亮点是：采用结构光，2个投影仪，3个相机高分辨率以及优秀的对齐方法。 是我们采用的model。 3DMM基本流程 3D Morphable Model 怎么来的？ 3DMM数据包括： 1、n个人脸的平均模型 2、形状部分的主成分 3、纹理部分的主成分 两个n-1维的： 特征向量和特征值 Optimal Step Nonrigid ICP（ iterative closest point ） Algorithms 2007. CVPR PCA PCA简介 在统计学中，主成分分析（principal components analysis,PCA）是一种简化数据集的技术。它是一个线性变换。这个变换把数据变换到一个新的坐标系统中，使得任何数据投影的第一大方差在第一个坐标(称为第一主成分)上，第二大方差在第二个坐标(第二主成分)上，依次类推。主成分分析经常用减少数据集的维数，同时保持数据集对方差贡献最大的特征。这是通过保留低阶主成分，忽略高阶主成分做到的。这样低阶成分往往能够保留住数据的最重要方面。 这在代数上表现为将原随机向量的协方差阵变换成对角形阵，在几何上表现为将原坐标系变换成新的正交坐标系，使之指向样本点散布最开的p 个正交方向，然后对多维变量系统进行降维处理，使之能以一个较高的精度转换成低维变量系统。 形状系数的在形状形变上的效果 从下图 可以看到不同的主成分从不同角度对人脸形状产生了影响:第1 主成分主要描述了性别的差异,第3 主成分主要控制嘴部以下的长度,第6 主成分主要调节人脸的宽度(不同人脸库训练得到的主成分效果会有所区别,但当人脸库足够大时,这种效果会趋于稳定). 利用3DMM构成人脸的公式表达 Since we assume all faces in full correspondence.new shapes S-model and new textures T-model can be expressed as a linear combination of the shapes and textures of the M exemplar faces. Through Principal Component Analysis (PCA) 如何拟合？实现针对2维输入的3维建模 纹理的距离 形状的距离 防止形状和纹理形变系数出现过拟合。采用贝叶斯公式计算各系数的概率，最大化概