[数学]主成分分析.pptVIP

第六章 主成分分析 1、引言 2、主成分的几何意义 3、主成分的数学推导 4、主成分的性质 5、主成分方法应用中应注意 的问题 1 引言 多元统计分析处理的是多变量（多指标）问题，由于变量较多，增加了分析问题的复杂性。 但在实际问题中，变量之间可能存在一定的相关性，因此，多变量中可能存在信息的重叠。 人们自然希望通过克服相关性、重叠性，用较少的变量来代替原来较多的变量，而这种代替可以反映原来多个变量的大部分信息. 这实际上是一种“降维”的思想。 2、主成分的几何意义 主成分分析数学模型中的正交变换，在几何上就是作一个坐标旋转。 因此，主成分分析在二维空间中有明显的几何意义。 假设共有n个样品，每个样品都测量了两个指标(X1，X2)，它们大致分布在一个椭圆内，如图所示。 事实上，散点的分布总有可能沿着某一个方向略显扩张，这个方向就把它看作椭圆的长轴方向。显然，在坐标系X1OX2中，单独看这n个点的分量X1和X2,它们沿着X1方向和X2方向都具有较大的离散性，其离散的程度可以分别用的X1方差和X2的方差测定。 如果仅考虑X1或X2中的任何一个分量，那么包含在另一分量中的信息将会损失，因此，直接舍弃某个分量不是“降维”的有效办法。 如果我们将该坐标系按逆时针方向旋转某个角度变成新坐标系y1Oy2，这里y1是椭圆的长轴方向， y2是椭圆的短轴方向。 易见，n个点在新坐标系下的坐标Y1和Y2几乎不相关。称它们为原始变量X1和X2的综合变量，n个点y1在轴上的方差达到最大，即在此方向上包含了有关n个样品的最大量信息。 因此，欲将二维空间的点投影到某个一维方向上，则选择y1轴方向能使信息的损失最小。 我们称Y1为第一主成分，称Y2为第二主成分。 第一主成分的效果与椭圆的形状有很大的关系，椭圆越是扁平，n个点在y1轴上的方差就相对越大，在y2轴上的方差就相对越小，用第一主成分代替所有样品所造成的信息损失也就越小。 考虑两种极端的情形： 一种是椭圆的长轴与短轴的长度相等，即椭圆变成圆，第一主成分只含有二维空间点的约一半信息，若仅用这一个综合变量，则将损失约50％的信息，这显然是不可取的。造成它的原因是，原始变量X1和X2的相关程度几乎为零，也就是说，它们所包含的信息几乎不重迭，因此无法用一个一维的综合变量来代替。 另一种是椭圆扁平到了极限，变成y1轴上的一条线，第一主成分包含有二维空间点的全部信息，仅用这一个综合变量代替原始数据不会有任何的信息损失，此时的主成分分析效果是非常理想的，其原因是，第二主成分不包含任何信息，舍弃它当然没有信息损失。 3、主成分的数学推导 4、主成分的性质 设 是X的主成分，X的协方差矩阵为 (6.17) 由的所有特征根构成的对角阵为 (6.18) 5、主成分方法应用中应注意的问题 （1）实际应用中主成分分析的出发点 （2）如何利用主成分分析进行综合评价 （1）实际应用中主成分分析的出发点 这里我们需要进一步强调的是，从相关阵求得的主成分与协差阵求得的主成分一般情况是不相同的。实际表明，这种差异有时很大。我们认为，如果各指标之间的数量级相差悬殊，特别是各指标有不同的物理量纲的话，较为合理的做法是使用R代替∑。对于研究经济问题所涉及的变量单位大都不统一，采用R代替∑后，可以看作是用标准化的数据做分析，这样使得主成分有现实经济意义，不仅便于剖析实际问题，又可以避免突出数值大的变量。 （2）如何利用主成分分析进行综合评价 人们在对某个单位或某个系统进行综合评价时都会遇到如何选择评价指标体系和如何对这些指标进行综合的困难。一般情况下，选择评价指标体系后通过对各指标加权的办法来进行综合。但是，如何对指标加权是一项具有挑战性的工作。指标加权的依据是指标的重要性，指标在评价中的重要性判断难免带有一定的主观性，这影响了综合评价的客观性和准确性。由于主成分分析能从选定的指标体系中归纳出大部分信息，根据主成分提供的信息进行综合评价，不失为一个可行的选择。这个方法是根据指标间