回归讲稿_8_12年.pptVIP

应用回归分析 第8章 主成分回归与 偏最小二乘 §8.1 主成分回归1 主成分回归 ( princippal components regression, PCR)是对普通最小二乘估计的一种改进，它的参数估计是一种有偏估计。马西 (W. F. Massy) 于 1965 年根据多元统计分析中的主成分分析提出了主成分回归，本节首先介绍有关主成分分析的基本思想和性质，然后用实例介绍主成分回归的应用。 一、主成分的基本思想1 主成分分析 ( princippal components analysis PCA)也称为主分量分析，首先由霍特林(Hotelling)于1933年提出，主成分分析是用一种降维的思想，在损失很小信息的前提下把多个指标利用正交旋转变换 转化为几个综合指标的多元统计分析方法。通常把转化生成的综合指标称为主成分，其中每个主成分都是原始变量的线性组合，且各个主成分之间互不相关。这样，在研究复杂问题时就可以只考虑少数几个主成分且不至于损失太多的信息，从而更容易抓住主要矛盾，揭示事物内部变量之间的规律性，同时使问题得到简化，提高分析效率。 §8.1 主成分回归2 一、主成分的基本思想2 设对某一事物的研究涉及 p 个指标，分别用 X1, X2, ..., Xp 表示，这 p 个指标构成的 p 维随机向量为 X = ( X1, X2, ..., Xp )。设随机向量 X 的均值为?，协方差矩阵为?。 对 X 进行线性变换，可以形成新的综合变量，用 Y 表示，也就是说，新的综合变量可以由原来的变量线性表示，即满足下式： Y1 = a11 X1 + a12 X2 + ... + a1p Xp Y2 = a21 X1 + a22 X2 + ... + a2p Xp …… Yp = ap1 X1 + ap2 X2 + ... + app Xp 由于可以任意地对原始变量进行上述线性变换，得到的综合变量 Y 的统计特性也不尽相同。因此，为了取得较好的效果，我们总是希望 Yi = ai X 的方差尽可能大，且各 Yi 之间相互独立。 §8.1 主成分回归3 一、主成分的基本思想3 由于 var(Yi ) = var( ai X ) = ai ?ai 而对于任意常数 c，有 var( cai X ) = cai ?aic = c2ai ?ai 因此，对 ai 不加任何时，可使 var(Yi ) 任意增大，问题将变得没能有意义。我们将线性变换 约束在下面的原则之下： 1. aiai = 1, 即 ai12 + ai22 + ... + aip2 = 1 ( i = 1, 2, ..., p ) 2. Yi 与 Yj 不相关 ( i ? j, i, j = 1, 2, ..., p ) 3. Y1 是 X1, X2, ..., Xp 的所有满足原则 1的线性组合中方差最大者;  Y2 是与 Y1 不相关的 X1, X2, ..., Xp 的所有线性组合中方差最大者; .....; Yp 是与 Y1, Y2, ..., Yp–1 不相关的 X1, X2, ..., Xp 的所有线性组合中方差最大者。 基于以上三条原则决定的综合变量Y1, Y2, ..., Yp分别称为第一、第二、……、第 p 个主成分。其中，各综合变量在总方差中的比重依次递减。在实际研究工作中，通常只挑选前几个方差最大的主成分，从而达到简化系统结构、抓住主要问题实质的目的。 §8.1 主成分回归4 二、主成分的基本性质1 引论：设矩阵 A = A，将 A 的特征值 ?1, ?2, ..., ?p 依大小顺序排列，不妨设 ?1 ? ?2 ? ... ? ?p， ?1, ?2, ..., ?p 为矩阵 A 各特征值对应的标准正交向量，则对任意向量 x，有 结论：设随机向量矩阵 X = ( X1, X2, ..., Xp )的协方差矩阵为 ?, ?1 ? ?2 ? ... ? ?p 为 ? 的特征值， ?1, ?2, ..., ?p为矩阵 ? 各特征值对应的标准正交向量，则第 i 个主成分为 Yi = ?i1 X1 + ?i2 X2 + ... + ?ip Xp, i = 1, 2, ..., p 此时