现代统计分析方法专题十一：主成分分析.pdf

专题十一 主成分分析 §11.1 基本思想 一项十分著名的工作是美国的统计学家斯通 (stone)在1947年关于国民经济的研究。他曾利用美 国1929一1938年各年的数据，得到了17个反映国民 收入与支出的变量要素，例如雇主补贴、消费资料 和生产资料、纯公共支出、净增库存、股息、利息 外贸平衡等等。 在进行主成分分析后，竟以97.4％的精 度，用三新变量就取代了原17个变量。根据 经济学知识，斯通给这三个新变量分别命名 为总收入F1、总收入变化率F2和经济发展或 衰退的趋势F3。更有意思的是，这三个变量 其实都是可以直接测量的。斯通将他得到的 主成分与实际测量的总收入I、总收入变化率 I以及时间t因素做相关分析，得到下表： F1 F2 F3 i Δi t F1 1 F2 0 1 F3 0 0 1 i 0.995 -0.041 0.057 l Δi -0.056 0.948 -0.124 -0.102 l t -0.369 -0.282 -0.836 -0.414 -0.112 1 主成分分析是把各变量之间互相关联的复杂 关系进行简化分析的方法。 在社会经济的研究中，为了全面系统的分析 和研究问题，必须考虑许多经济指标，这些指标 能从不同的侧面反映我们所研究的对象的特征， 但在某种程度上存在信息的重叠，具有一定的相 关性。 主成分分析试图在力保数据信息丢失最少 的原则下，对这种多变量的截面数据表进行 最佳综合简化，也就是说，对高维变量空间 进行降维处理。 很显然，识辨系统在一个低维空间要比 在一个高维空间容易得多。 在力求数据信息丢失最少的原则下，对高维的变 量空间降维，即研究指标体系的少数几个线性组 合，并且这几个线性组合所构成的综合指标将尽可 能多地保留原来指标变异方面的信息。这些综合指 标就称为主成分。要讨论的问题是： (1) 基于相关系数矩阵还是基于协方差 矩阵做主成分分析。当分析中所选择的经济变 量具有不同的量纲，变量水平差异很大，应该 选择基于相关系数矩阵的主成分分析。 （2） 选择几个主成分。主成分分析的目 的是简化变量，一般情况下主成分的个数应 该小于原始变量的个数。关于保留几个主成 分，应该权衡主成分个数和保留的信息。 （3）如何解释主成分所包含的经济意 义。 §11.2 数学模型与几何解释 假设我们所讨论的实际问题中，有p个指 标，我们把这p个指标看作p个随机变量，记为 X ，X ，…，X ，主成分分析就是要把这p个指标 1 2 p 的问题，转变为讨论p个指标的线性组合的问 题，而这些新的指标F ，F ，…，F (k≤p），按 1 2 k 照保留主要信息量的原则充分反映原指标的信 息，并且相互独立。 这种由讨论多个指标降为少数几个综合指 标的过程在数学上就叫做降维。主成分分析通 常的做法是，寻求原指标的线性组合Fi 。 F a X a X  a X 1 11 1 21 2 p 1 p    F a X a X  a X 2 12 1 22