matlabpca主元贡献,主元分析（PCA）原理.pdfVIP

matlabpca主元贡献,主元分析（PCA）原理 因为经常做⼀些图像和信号处理的⼯作，要⽤到主元分析(Principal Components Analysis)作为⼯具。写出来供⾃⼰和朋友参考。 PCA是⼀种统计技术，经常应⽤于⼈⾯部识别和图像压缩以及信号去噪等领域，是在⾼维数据中提取模式的⼀种常⽤技术。要了解PCA⾸ 先要了解⼀些相关的数学知识，这⾥主要介绍协⽅差矩阵、特征值与特征⽮量的概念。 1、 协⽅差矩阵 协⽅差总是在两维数据之间进⾏度量，如果我们具有超过两维的数据，将会有多于两个的协⽅差。例如对于三维数据(x, y, z维)，需要计算cov(x,y)，cov(y,z)和cov(z,x)。获得所有维数之间协⽅差的⽅法是计算协⽅差矩阵。维数据协⽅差矩阵的定义为 (1) 这个公式告诉我们，如果我们有⼀个n维数据，那么协⽅差矩阵就是⼀个n⾏n列的⽅矩阵，矩阵的每⼀个元素是两个不同维数据之间的协⽅ 差。 对于⼀个3维数据(x,y,z)，协⽅差矩阵有3⾏3列，它的元素值为 ： (2) 需要注意的是：沿着主对⾓线，可以看到元素值是同⼀维数据之间的协⽅差，这正好是该维数据的⽅差。对于其它元素，因为 cov(a,b)=cov(b,a)，所以协⽅差矩阵是关于主对⾓线对称的。 2、特征值和特征⽮量 只要矩阵⼤⼩合适，就可以进⾏两矩阵相乘，特征⽮量就是其中的⼀个特例。考虑图2.1中两个矩阵和⽮量乘法。 图2.1 ⼀个⾮特征⽮量和⼀个特征⽮量的例⼦ 图2.2 ⼀个缩放的特征⽮量仍然是⼀个特征⽮量 在第⼀个例⼦中，结果⽮量不是原来因⼦⽮量与整数相乘，然⽽在第⼆个例⼦中，结果⽮量是原来因⼦⽮量的4倍，为什么会这样呢？该⽮ 量是⼀个2维空间⽮量，表⽰从原点(0,0)指向点(3,2)的箭⽮。⽅矩阵因⼦可以看作是转换矩阵，⼀个⽮量左乘该转换矩阵，意味着原始⽮ 量转换为⼀个新⽮量。 特征⽮量来⾃于转换特性。设想⼀个转换矩阵，如果⽤其左乘⼀个⽮量，映射⽮量是它⾃⾝，这个⽮量(以及它的所有尺度缩放)就是该转换 矩阵的特征⽮量。 特征⽮量有什么特性呢？⾸先只有⽅阵才有特征⽮量，⽽且并不是所有⽅阵都有特征⽮量，如果⼀个nXn⽅阵有特征⽮量，那么它有n个特 征⽮量。 特征⽮量的另外⼀个性质是对特征⽮量的缩放会得到缩放前同样地结果，如图2.2所⽰，这是因为你对⽮量的缩放只是改变它的长度，不会 改变它的⽅向。最后，矩阵的所有特征⽮量是正交的。这是⼀个⾮常重要的性质，因为这意味着你可以在这些正交⽮量上表⽰⼀组数据，⽽ 不仅是在x和y轴上。在下⾯的PCA⼩节内我们将作这个⼯作。 另外⼀个需要了解的是数学家寻找特征⽮量，总喜欢寻找长度为1的那⼀个特征⽮量，这是因为⽮量的长度不影响它是否是特征⽮量，因 此，为了保证特征⽮量是标准的⽮量，我们通常将特征⽮量的长度缩放为1，从⽽所有的特征⽮量都有相同的长度。 怎样去找到这些神秘的特征⽮量呢？不幸的是，只有对相当⼩维数的矩阵才有简单地⽅法，⽐如不超过3X3，对于较⼤维数的矩阵，需要复 杂的迭代算法。 特征值是与特征⽮量极其相关的，事实上，在图2.1中我们已经看到了⼀个特征值。注意在两个例⼦中，原始⽮量左乘⽅阵后与⽮量缩放数 ⼀样。在这个例⼦中，缩放数为4。4就是对应该特征⽮量的特征值。不管在左乘⽅阵之前如何缩放特征⽮量，我们总是得到该⽮量的4倍 (如图2.2)。所以特征值和特征⽮量总是成对出现，当你使⽤程序计算特征⽮量时，你总是同时得到对应的特征值。 3、主成分分析(PCA) 最后我们将进⾏主成分分析的介绍，那么什么是主成分分析呢？它是⼀种在数据中辨别模式的⽅法，表达数据的相似与不同之处的⽅法。因 为⾼维数据的模式难以发现——图形表述不可⽤，PCA是⼀个有⼒的数据分析⼯具。 PCA的另外⼀个重要优势是，⼀旦你找到了数据的这些模式，你可以压缩它，也就是在不丢失很多信息的基础上，降低数据的维数。在下⼀ 节将会看到，这种技术被⽤于图像压缩。 本节将⼀步⼀步地带你对⼀组数据进⾏PCA操作。我将不具体描述该技术为什么适⽤，只是介绍怎样使⽤该技术。 §3.1 ⽅法 第⼀步：获得数据 在我简单的例⼦中，将使⽤我⾃⼰制作的2维数据，使⽤2维数据的原因是我可以提供这些数据的图形，以便直观地观察PCA的操作步骤。 下⾯就是我使⽤的数据 x=[2.5, 0.5, 2.2, 1.9, 3.1, 2.3, 2, 1, 1.5, 1.1]Ty=[2.4, 0.7, 2.9, 2.2, 3.0, 2.7, 1.6, 1.1, 1.6, 0.9]T 第⼆步：减去均值 要使PCA正常⼯作，必须减去数据的均值。减去的均值为每⼀维的平均