《多元统计学》课件第9章 主成分分析.pptVIP

第三主成分 中的 应在， 的条件下，使 达到最大。 主成分定义 称线性组合 为 x1, x2,…, xp 的第 j 个主成分 其系数向量 应满足如下条件: 1、正则条件： 2、正交条件： 3、最大方差条件： 使 达到最大 4、主成分的方差依次递减： 由定义可知，要确定 m 个主成分实际上就是要确定 m 个 p 维向量 引 理 设A是n 阶对称阵， 其特征根为 , 对应的单位化特征向量为 则 且当 时，二次型 达到上确界。 求 法 由引理可知，求主成分便是求相关系数矩阵 R 的特征根及对应的单位化特征向量。 主成分在几何图形中的方向就是 R 的特征向量的方向 问 题 引入主成分的目的是为了减少指标的个数，那么 m 取多大？ 样本主成分y1, y2,…, yp的协方差阵为Λ 性质1 性质2 由性质1和性质2可知， p个主成分所反映的数据总差异等于原指标所反映的数据总差异。 协方差矩阵Λ的对角线上的元素之和等于特征根之和 贡献率和累计贡献率 为第 j 个主成分 yj 的贡献率 为前m个主成分y1 , y2,…,ym的累计贡献率 选取m的标准： 根据问题的性质和要求,可选取 m 使累计贡献率达到70%～90%。即只要用前 m 个主成分就可以基本反映个体间的差异，从而达到减少指标的目的。 主成分的表述形式 若从原p个指标提取了m个主成分，则 第 j 个主成分 第 i 个分量（第 i 个原指标） 如何对主成分作出解释？ 这里借助于原指标 xj 关于主成分y1, y2,…, ym 的回归作某些解释。 xj 关于y1, y2,…, ym 的回归方程 性质3 回归系数 回归平方和 残差平方和 复相关系数 贡献率和负荷量 m 个主成分y1, y2,…,ym对指标 xj 的贡献率。 反映了 m 个主成分所能反映指标 xj 差异的比例。 贡献率： 负荷量： 在主成分 yi 上指标 xj 的负荷量 原指标 xj 与主成分yi 的相关系数 反映了原指标 xj 与主成分 yi 的关系的密切程度，它为对主成分的解释提供了一定的依据。 主成分分析需要注意的主要问题 原始数据大部分变量的相关系数较大，主成分分析会取得较好效果 基于相关系数矩阵还是基于协方差矩阵做主成分分析 没有定论，建议都试一下，分析结果的差别及发生明显差异的原因何在 一般而言，当分析中所选择的变量具有不同的量纲，变量水平差异很大，应该选择基于相关系数矩阵的主成分分析。否则，基于协方差阵做主成分分析效果更好。 选择几个主成分。主成分分析的目的是简化变量，一般情况下主成分的个数应该小于原始变量的个数。关于保留几个主成分，应该权衡主成分个数和保留的信息。 如何解释主成分所包含的经济意义。 应 用 聚类分析 判别分析 回归分析 先根据累计贡献率选择主成分的个数，进行主成分分析，得 到因子得分，即得到每个样品的主成分值，然后再做相应的 统计分析 主成分回归 所谓主成分回归是根据累计贡献率的要求，选p个自变量的m个主成分，然后建立因变量y关于这m个主成分的回归方程。 主成分回归的主要步骤 计算相关系数矩阵 观察是否存在多重共线性现象（变量之间相关系数较高），若存在，则进行主成分分析 根据累计贡献率选择主成分的个数 计算主成分得分（ zy 1， zy 2 ，…） 对数据进行标准化（zx1, zx2，…, zy） 建立zy关于zy 1， zy 2 ，…的回归方程 还原成y关于x1, x2, … xp的回归方程 * 解释y的方差为l’Rl，其迹也相等，等于R的迹，即为p 主成分分析Principal Components 本章主要内容 前言 主成分的几何解释 主成分的数学模型 样本主成分的求解及其性质 主成分分析的进一步应用 例子（1） 一个人的身材需要用多项指标完整描述：身高、体重、臂长、腿长、肩宽、胸围、腰围、臀围等，但人们购买衣服时一般只用身高和肥瘦两个综合指标就够了 例子（2） 一项十分著名的工作是美国的统计学家斯通(stone)在1947年关于国民经济的研究。他曾利用美国1929一1938年各年的数据，得到了17个反映国民收入与支出的变量要素，例如雇主补贴、消费资料和生产资料、纯公共支出、净增库存、股息、利息、外贸平衡等等。 在进行主成分分析后，竟以97.4％的精度，用三新变量就取代了原17个变量。根据经济学知识，斯通给这三个新变量分别命名为总收入F1、总收入变化率F2和经济发展或衰