2011暑期集训专题七——因子分析专题2011–07–13.pptVIP

2011数学建模集训班专题;专题七 因子分析;1 基本概念;(2)方差（variance） 方差用于衡量数据的集中或分散程度，公式为： Matlab命令：var(x) 标准差（standard deviation）是观测值与均值间的平均距离，公式为： Matlab命令：std(x) ;图1.不同方差数据示意图;(3)协方差（variance） 协方差用于衡量数据的协变趋势，公式为： matlab命令：cov(x,y) (4)均方误差（mean square error） 用于衡量实际数据与预测数据的偏离程度，公式为： ;(5)数据标准化 假定有n组样本，m个变量，其原始数据矩阵X为： 对矩阵进行标准化，其公式为： 从而使得矩阵的每一列均值为0，方差为1 标准化2 ;(6)相关系数(correlation coefficient) 相关系数是对于变量而言，第j个和第k个变量之间的相关系数公式为： 相关系数大小在区间[-1,1]之间，也可写为： ;相关系数几何意义 1.余弦定理： 2.两点间距离公式： ;对于标准化数据，原点为 ，记为点A，计算X与Y的夹角有 从而有 ;图2.夹角余弦示意图;表1.北京、天津、上海非农业人口与建成区面积;2因子分析(factor analysis)概述;3因子分析的数学模型;相关系数或协方差可以表示为 表示为内积形式为 m个变量间的相关系数构成一个m维矩阵 ;考虑两个变量的情形，有 易知 半正定矩阵-矩阵特征值非负；若m个变量线性无关，则R正定，为对角矩阵，特征值全正。 对于标准化数据，可通过相关系数研究协方差矩阵的结构。 ;3.1因子模型及其基本定理;为求解因子模型，需要建立对角矩阵 为说明方便，考虑两变量、两个因子的情形，因子模型可展开为： 令 ， ， 于是因子模型可以表示为矩阵形式 ;显然;由于有 令 为约相关矩阵，则上式化为： 这就是因子分析的基本定理，其中 ;约相关矩阵R*与R的区别仅在于对角线上元素不同。此式表明：因子分析要求将ｍ个变量之间的相关关系转化为ｍ个变量与ｐ个公因子之间的关系，即在已知约相关矩阵的条件下，求出因子负荷矩阵A，使R*=AA‘，故把上式称为因子分析的基本定理。 因子载荷与因子载荷矩阵的统计意义 考虑公因子与原始变量的相关矩阵 可见因子载荷矩阵其实就是因子和变量的相关系数矩阵，表 示为 ;公因子方差的统计意义 第j个变量 的公因子方差定义为： 对于2变量情形，显然有： 第j个变量的方差为： 从而有 ，可以看出： ;变量 的方差由两部分组成，一是公因子方差 ，它是全部因子对变量的总方差提供的贡献，二是单因子对变量提供的方差贡献，仅与 的自身变化有关； 公因子方差 是p个公因子对变量 解释程度的一个参数，方差越大，说明这p个公因子解释能力越强，该变量与其余变量的相关性越强。毕竟变量之间的关系体现在变量与公因子关系中。 方差贡献定义为： 对于2变量， ，显然 ;对于任意变量，则有 方差贡献表示第k个因子在公因子方差中所占的份额，据此判断该因子的重要程度。在地理学研究中，一个因子所代表的地理因素在问题中的作用大小有时可以通过方差贡献反映出来。 表2.公因子方差和方差贡献 ;相关系数 根据因子分析基本定理 可知，变量 的相关系数为： 以2个变量为例（A包含了原始变量的全部相关信息） 显然： ;3.2因子模型解及其非唯一性;方程 和 的解都不是唯一的，若A是方程的一个解，则对任意p阶正交矩阵P，PA也是其解，原因在于 这种性质为我们根据实际需要挑选因子解提供了条件。 ;主因子解 借助主成分得到的解称为主因子解，是其他因子解的基础，故又称初始因子解，求解准则如下： 从相关矩阵R出发，在所有可能的因子中先求 和诸变量 在该因子上的载荷 ，使方差贡献 最大；再从R中消除 的影响，得剩余相关矩阵 再从剩余相关矩阵中求取 及其载荷 使得方差贡献 最大，依此类推，直到选取足够的因子为止。 ;3.3 正交因子解;;方差极大正交旋转 因子坐标系正交旋转的目的主要是寻求适当正交变换矩阵， 使得 中矩阵B的结构尽可能简单：每列仅有少数几 个元素绝对值接近1，大部分接近于0，即要求