PCA(主分量分析法).docxVIP

 HYPERLINK /CBDoctor/archive/2011/10/29/2228756.html PCA(主分量分析法） 协方差矩阵——PCA的关键。 　　　PCA的目的就是“降噪”和“去冗余”。“降噪”的目的就是使保留下来的维度间的相关性尽可能小，而“去冗余”的目的就是使保留下来的维度含有的“能量”即方差尽可能大。那首先的首先，我们得需要知道各维度间的相关性以及个维度上的方差！那有什么数据结构能同时表现不同维度间的相关性以及各个维度上的方差呢？自然是非协方差矩阵莫属。回忆下《浅谈协方差矩阵》的内容，协方差矩阵度量的是维度与维度之间的关系，而非样本与样本之间。协方差矩阵的主对角线上的元素是各个维度上的方差(即能量)，其他元素是两两维度间的协方差(即相关性)。我们要的东西协方差矩阵都有了，先来看“降噪”，让保留下的不同维度间的相关性尽可能小，也就是说让协方差矩阵中非对角线元素都基本为零。达到这个目的的方式自然不用说，线代中讲的很明确——矩阵对角化。而对角化后得到的矩阵，其对角线上是协方差矩阵的特征值，它还有两个身份：首先，它还是各个维度上的新方差；其次，它是各个维度本身应该拥有的能量(能量的概念伴随特征值而来)。这也就是我们为何在前面称“方差”为“能量”的原因。也许第二点可能存在疑问，但我们应该注意到这个事实，通过对角化后，剩余维度间的相关性已经减到最弱，已经不会再受“噪声”的影响了，故此时拥有的能量应该比先前大了。看完了“降噪”，我们的“去冗余”还没完呢。对角化后的协方差矩阵，对角线上较小的新方差对应的就是那些该去掉的维度。所以我们只取那些含有较大能量(特征值)的维度，其余的就舍掉即可。PCA的本质其实就是对角化协方差矩阵. PCA的本质是对角化协方差矩阵，目的是让维度之间的相关性最小（降噪），保留下来的维度的能量最大（去冗余）。 PCA简介以及模型 　　Web的发展产生了大量的数据，尤其是现在的互联网公司，集结了大量的用户信息。，怎样从这些复杂混乱的数据中提取有用的信息才是重点。我们举一个物理模型 如图所示： 　　当把一个弹簧球沿着X方向进行拉伸的时候，弹簧球会在X方向上进行来往复运动。假设我们有三个相机，用来描述弹簧球的运动轨迹，分别为CameraA(x,y,z),CameraB(x,y,z),CameraC(x,y,z),相机的摆放并不呈现正交。 　　感官上，如果以小球运动的平面作为XOY平面，我们可以最大限度的描述小球的运动轨迹，毕竟小球只是在X方向上进行往返运动，可是在相机A,B,C中却会对同一时刻的小球位置产生三个不同的描述，这是因为三个相机有不同的坐标系，因此，如何从三个相机中产生的冗余数据进行去除，得到最佳的描述小球运动轨迹的信息，正是PCA的功劳。 　　线性代数中对PCA这样进行描述：PCA的目标就是用另一组基去重新描述得到的数据空间，而新的基要尽可能的描述原有数据间的关系，简单总结：一方面要体现出最主要的特征，另一方面要区分开主要特征和次要特征的差距。上面的例子中，沿着X轴进行运动无疑是最主要的特征，也就是我们所说的“主元”。那么怎样才能最好的表示原数据呢？无疑是选择最好的基，那怎样的基才是最好的基呢？关于基的概念，线性代数给出这样的描述： 　　在线性空间V中，如果存在n个元素a1,a2,a3,...,an,满足 　　（1）a1,a2,a3,...,an线性无关 　　（2）V中的任何元素都可以用a1,a2,a3,...,an进行描述 　　PCA进行坐标基变换的原则是： 　　（1）主元轴拥有最大的方差，次元轴拥有次级大的方差...... 　　（2）坐标基的相关性为0（其实根据基的基本概念，只要是基的话就已经是线性无关的） 　　1. 去噪声 　　线性系统中，我们用”信噪比“来描述噪声的大小，通常，变化大的被认为是噪声，而变化小的被认为是信号，而变化的快慢使用方差来描述的。 　　当坐标轴和椭圆的长短轴平行，那么代表长轴的变量就描述了数据的主要变化，而代表短轴的变量就描述了数据的次要变化。但是，坐标轴通常并不和椭圆的长短轴平行（这点在下面的图C中也有体现）。由于C中的水平坐标和垂直坐标都是以（x1,x2)作为坐标系的，如果我们以x1,x2作为坐标轴，将F1，F2投影到x1，x2坐标轴上并不能获得描述对象的最大方差，。因此，需要寻找椭圆的长短轴，并进变换，使得新变量和椭圆的长短轴平行。这个过程叫做去噪声！ 　　2. 去冗余 (从左向右分别为a,b,c) 　　如图所示：（a)的长轴和短轴方向上的方差基本大小一致，因此，相关性越低，冗余度越小，(c)次之，而(b)的短轴方向上数据分布高度集中，因此方差非常小，短轴上的坐标可以用长轴进行线性表示（考虑一下y = kx+b，我们可以将坐标表示为(x,kx+b)