主元分析_515405152.ppt

应用举例 人脸识别 引用清华大学张长水教授相关工作 应用举例 基于图像本身的方法 依赖于图像的相对灰度分布 识别性能与训练集合有关 加入新的样本必须重新训练 特征向量的选择 应用举例 应用举例 中科奥森人脸识别系统 应用举例 应用举例 应用举例 应用举例 应用举例 应用举例 应用举例 应用举例 应用举例 应用举例 * 主元分析-Principal Component Analysis（PCA） 什么是PCA PCA是Principal component analysis的缩写，中文翻译为主元分析。它是一种对数据进行分析的技术，最重要的应用是对原有数据进行简化。 有效的找出数据中最“主要”的元素和结构，去除噪音和冗余； 将原有的复杂数据降维，揭示隐藏在复杂数据背后的简单结构； 优点和问题： 抓住主要矛盾，易于表达和理解； 可能丧失有用的信息。 PCA举例-去相关性 PCA举例-去相关性 PCA举例-降维 n p A n k X 一个简单模型 理想弹簧运动规律的测定实验。 有先验知识 V.S 无先验知识 在真实世界中，对于第一次实验的探索者来说 球的运动状态未知； 有效的特征空间情况未知。 一个简单模型 PC 1 PC 2 PCA的线性代数解释-正交基 正交基和标准正交基 内积为零 模为一 以上述震动模型为例，在每一个采样点上得到的位置数据对应于一个六维列向量，构成这个六维特征空间的一组标准正交基可以表示为行列向量线形无关的单位矩阵。 PCA的线性代数解释-基变换 从更严格的数学定义上来说，PCA回答的问题是：如何寻找到另一组正交基，它们是标准正交基的线性组合，而且能够最好的表示数据集？ PCA的关键假设-线性 数据被限制在一个向量空间中，能被一组基表示； 隐含的假设了数据之间的连续性关系。 这样一来数据就可以被表示为各种基的线性组合。 PCA的线性代数解释-基变换 经PCA转换以后，得到一组新的正交基，则采样点在新正交基下有新的表示形式。 pi是P的行向量 xi是X的列向量 yi是Y的列向量 P是从X到Y的转换矩阵。 P对X进行旋转和拉伸得到Y。 P的行向量是一组新的基，Y是原数据X在这组新的基表示下得到的重新表示。 问题和目标 问题 怎样才能最好的表示原数据X？ P的基怎样选择才是最好的？ 目标 消除噪声和冗余 找到包含最多信息的主轴方向 噪声 冗余 实验中引入了不必要的变量。可能会是两种情况： 该变量对结果没有影响； 该变量可以用其它变量表示，从而造成数据冗余。 冗余和信息量度量 协方差矩阵 冗余-协方差 信息量-方差 CX是一个的m×m对称矩阵。 对角线上的元素是对应的观测变量的方差。 非对角线上的元素是对应的观测变量之间的协方差。 协方差矩阵的对角化 主元分析以及协方差矩阵优化的原则是： 最小化变量冗余，对应于协方差矩阵的非对角元素要尽量小； 最大化信号，对应于要使协方差矩阵的对角线上的元素尽可能的大。 优化的目标矩阵应该是一个对角阵。即只有对角线上的元素可能是非零值。 PCA假设所对应的一组变换基必须是标准正交的，而优化矩阵对角线上的元素越大，就说明信号的成分越大，换句话就是对应于越重要的“主元”。 最简单最直接的算法就是在多维空间内进行有哪些信誉好的足球投注网站。 在m维空间中进行遍历，找到一个方差最大的向量p1。 在与p1垂直的向量空间中进行遍历，找出次大的方差对应的向量p2 。 对以上过程循环，直到找出全部m个向量。它们生成的顺序也就是“主元”的排序。 PCA的假设和局限 PCA的假设条件包括： 线性假设 使用均值和方差进行充分统计（高斯）。 高信噪比假设：大方差向量具有较大重要性。 主元正交假设。 PCA求解：特征根分解 问题描述:寻找一组正交基组成的矩阵P，有Y=PX，使得CY=YYT/(n-1)是对角阵。则P的行向量（也就是一组正交基），就是数据X的主元向量。 A=XXT ，A是一个对称阵。 D是一个对角阵,E是对称阵A的特征向量排成的矩阵。 求出特征向量矩阵E后,取P=ET ，则A=PTDP ，又有P-1=PT PCA求解：特征根分解 结论 X的主元即是XXT的特征向量，也就是矩阵P的行向量。 矩阵CY对角线上第i个元素是数据X在pi方向的方差。 我们可以得到PCA求解的一般步骤： 采集数据形成m×n的矩阵。m为观测变量个数，n为采样点个数。 在每个观测变量（矩阵行向量）上减去该观测变量的平均值得到矩阵X 。 对XXT进行特征分解，求取特征向量以及所对应的特征根。 总结和讨论 PCA技术的一大好处是对数据进行降维的处理。我们可以对新求出的“主元”向量的重要性进行排序，根据需要取前面最重要的部分，将后面的维数省去，可以达到降维从而简化模型或是对数据进行压缩的效果。同时最