数学模型讲座主成分剖析.pptVIP

主成分分析Principal Components Analysis; 1. 概 述 多元问题的复杂性∶指标(变量)多，指标间存在相关性。 问题∶能否构造出一些综合指标使满足如下条件∶ ① 指标个数尽可能少， ② 指标间相互独立， ③ 尽可能多地包含原指标所含的关于总体的信息。; 例如∶做一件上衣要测量的指标有∶身长、袖长、胸围、腰围、肩宽、肩厚等等十几项指标。某服装厂生产一批新型服装，需将十几项指标综合为3项指标(分别反应长度、胖瘦、特体)，用作分类的型号。 又如商业经济∶ 多项指标--物价、生活费用、商业活动指数。 ; 主成分分析是将原来众多具有相关性的指标化为少数几个相互独立的综合指标的一种统计方法。; ; 如果椭圆很扁，则在 y 的坐标系中，样本点的第一个坐标y1 就代表了这些点的分布情况。;设p 维随机变量 的数学期望为0， x的主成分指的是综合变量 ， 它满足如下条件∶ ① ,其中 是正交矩阵。 即∶;② 在形如(1)的线性变换中，y1 具有最大的方差； y1 与y2 相互独立，且在与y1 相互独立的线性变换中y2 具有最大的方差； y3 与y1 和y2 相互独立，且在与y1 和 y2 相互独立的线性变换中， y3具有最大的方差；如此类推。分别叫做x的y1 ,y2 ,…, yp第一、第二、… 、第p 主成分。 ; 设 是x 的主成分，它们的方差分别为 ,由于;所以∶;定理: 设p 维随机变量 的数学 期望为0，且协方差阵为 ,它的特征值为 为相应的单位特征向量，则x 第 i 主成分为 ;说明1∶求主成分关键是要从协方差矩阵 求出正交变换矩阵 。 说明2∶若已经求出主成分 ，则原来的p 个指标 就可以转化为用p 个新的指标 (即主成分)来表达。这p 个新的指标是相互独立的，这给问题的分析带来了很大的方便。;说明3∶新的指标 的方差分别为 ，如??某一个 很小，总体分布在 这个方向上分散程度很小，这个分量所起作用不大，因而可以忽略不考虑。将这些分量去掉，就可以降低维数， 给分析问题带来更大的方便。; 实际问题中总体协方差矩阵 是未知的，只能用样本协方差矩阵 去估计。因此实用中，从样本协方差矩阵 出发，求 一个正交矩阵 ，将 变成对角矩阵 ，即 ;样本主成分--由 出发求出的主成分。 样本点 的主成分坐标为 注∶样本数据要求是中心化的数据。; 是样本点在第j 个主成分方向上的方差，它代表样本点在这个主成分方向上的分散程度。若 很小，这个主成分可忽略不记。 问题∶ 小到什么程度才算小呢?;主成分舍弃原则∶前 m 个主成分的累计贡献率 接近于1(80%或85%)，则可将余下的p-m个主成分 舍去。;7. 因子负荷量;因子负荷量的性质∶;8. R 分析;§2 主成分分析的计算步骤与应用;2.MatLab计算工具 ① 原始数据矩阵中，每列对应一个变量。 ② 样本特征数的计算工具 平均值: mean( ) 方差: var( ) 标准差:　std( ) 协方差矩阵: cov( ) 相关系数矩阵: corrcoef( ) ③ 主成分计算工具pcacov() 调用方法∶ pc = pcacov(X) [pc,latent,explained] = pcacov(X) Ｘ为原始数据的协方差或相关系数矩阵， pc为由特征向量组成的矩阵，即 , latent为特征值， explained为因子贡献率。;样本号 叶长 2/3处宽