主成分b分析b.pptVIP

第七章 主成分分析 §7.1 引言 §7.2 总体的主成分 §7.3 样本的主成分 §7.1 引言 主成分分析 或称主分量分析，principal component analysis 由皮尔逊 Pearson,1901 首先引入，后来被霍特林 Hotelling,1933 发展了。 主成分分析是一种通过降维技术把多个变量化为少数几个主成分 即综合变量 的统计分析方法。这些主成分能够反映原始变量的绝大部分信息，它们通常表示为原始变量的某种线性组合。 主成分分析的一般目的是： 1 变量的降维； 2 主成分的解释。 寻找主成分的正交旋转 旋转公式： §7.2 总体的主成分 一、主成分的定义及导出 二、主成分的性质 三、从相关阵出发求主成分 一、主成分的定义及导出 设 为一个 维随机向量， ， 。考虑如下的线性变换 希望在约束条件 下寻求向量 ，使 得 达到最大， 就称为第一主成分。 设 为 的特征值， 为相应的单位特征向量，且相互正交。则可求得第一主成分为 它的方差具有最大值 。 如果第一主成分所含信息不够多，还不足以代表原始的 个变量，则需考虑再使用一个综合变 量 ，为使 所含的信息与 不重叠，应要求 我们在此条件和约束条件 下寻求向量 ，使得 达到最大，所求的 称为第二主成分。求得的第二主成分为 其方差为 。 一般来说， 的第 主成分是指：在约束条件 和 下寻求 ，使 得 达到最大。第 主成分为 主成分的几何意义 在几何上， 表明了第 主成分的方向， 是 在 上的投影值（即投影长度）， 是这些值的方差，它反映了在 上投影点的分散程度。 记 ，则主成分向量 与原始向量 有如下关系： 该正交变换的几何意义是将 中由 构成的原 维坐标轴作一正交旋转，一组正交单位向 量 表明了 个新坐标轴的方向，这些新坐标轴彼此仍保持正交（或说垂直）。 二、主成分的性质 1.主成分向量的协方差矩阵 其中 ，即 ，且 互不相关。 2.主成分的总方差 由于 故 或 总方差中属于第 主成分 （或被 所解释 的比例为 称为主成分 的贡献率。 第一主成分 的贡献率最大，表明它解释原始变量 的能力最强，而 的解释能力依次递减。 主成分分析的目的就是为了减少变量的个数，因而一般是不会使用所有 个主成分的，忽略一些带有较小方差的主成分将不会给总方差带来大的影响。 前 个主成分的贡献率之和 称为主成分 的累计贡献率，它表明 解释 的能力。 通常取 相对于 较小的 ，使得累计贡献达到一个较高的百分比 如80％～90％ 。此时， 可用来代替 ，从而达到降维的目的，而信息的损失却不多。 3.原始变量 与主成分 之间的相关系数 在实际应用中，通常我们只对 与 的相关系数感兴趣。 三、从相关阵出发求主成分 现比较本例中从 出 出发的主成分计算结果。从 出发的 的贡献率0