多元08章—因子-SPSS.docVIP

因子分析 因子分析可以认为是主成分分析的逆问题。主成分分析是将原指标综合；因子分析是将原指标分解。 主成分分析： 用矩阵表示为： 即 因子分析： 看一个实际例子。设有n个学生，每个学生考5门课：语文、外语、数学、物理、化学，第i个学生第j门课的成绩用表示，于是，n个学生的成绩组成一个矩阵 考试成绩反映了学生的素质能力，这些成绩是由学生的理解能力、记忆能力、（对文字、符号、概念的）反映速度所决定的。若将理解能力、记忆能力、反映速度称为因子。则因子分析就是要从考试成绩中寻找出这些因子，以及成绩与这些因子的关系。 用 表示5门课的考试成绩，用 表示3个因子。显然，每门课程都与f（理解能力、记忆能力、反映速度）有关（称为公共因子），并假定它们之间是线性关系 其中，是x中不能完全被（理解能力、记忆能力、反映速度）解释的部分，称为特殊因子。 §1 因子模型 实践证明，因子分析有着广泛的应用。但是，因子分析的模型和理论还很不完善，从数学上看还存在许多问题。因子分析模型不像主成分分析有明确的数学背景和几何意义，因此理解起来比较困难。 一、数学模型 设有可观测的p维随机向量，（不妨假定）其均值向量，协差阵为，和都是不可观测的随机向量。若 则模型 称为因子模型，用矩阵表示为 简记为 其中，称为公共因子向量，称为特殊因子向量，称为因子载荷，称为因子载荷矩阵。 二、因子载荷的统计意义 1、A的元素 因为 所以 即，因子载荷是原始变量与公因子的协方差。若x为已标准化的随机变量，则是原始变量与公因子的相关系数，它度量了原始变量在公因子中的相对重要性。由于历史的原因心理学家称其为“载荷”，即变量在公因子中的负荷。 2、A的行元素平方和 因子载荷矩阵中第行元素的平方和 称为的共性方差（共同度）。 对的两边取方差 由上面的定义 则 是特殊因子对的方差贡献，称为特殊方差。 注意对应关系： 因此，不难看出，共性方差它反映了所有公因子对的影响（贡献）大小，或者说，度量了所有公因子从中提取的信息量大小。若已经标准化，则越接近１，说明公共因子提取的信息越多，由原始变量空间变换到因子变量空间的性质越好。例如若，则说明有的信息被提取了。 特殊因子与有关，与无关，不能由公共因子解释。 若已经被标准化，则，这时 3、A的列元素平方和 共性方差考虑的是与某原始变量的关系。类似可考虑： 某公因子与所有原始变量的关系。 因子载荷矩阵中第列元素的平方和 称为公因子对的原始变量的方差贡献。 因为 对求和 注意到对应关系 因此，表示某一公因子对原始变量的各分量所提供的方差之和，它度量了公因子对原始变量的重要性。越大，表明公因子对原始变量的影响和作用越大。若将所有的都计算出来，并按大小排序，则可依此提取最有影响的公共因子。 三、性质 1、x的协方差矩阵( 的分解 由假定，所以 即 若已对x的各分量进行了标准化，则( =R，则有 2、因子模型与量纲无关 若要改变x的单位，则作变换，其中，，因此 令，，，则有 并且 因此，单位变换后的模型仍为因子模型。 3、因子载荷不惟一 设为任一m(m正交矩阵，令，，则因子模型 可表示为 因为 即，因子模型中的A经正交变换后仍为因子模型。且( 可分解为 所以，因子载荷矩阵A不惟一。 综上所述，因子的载荷矩阵的统计意义、因子模型的性质如下： 统计意义： １、是原始变量与公因子的协方差（相关系数） ２、行元素平方和是对的依赖程度 ３、列元素平方和是对的贡献 性质： １、x的协差矩阵的分解：，即， ２、因子模型与量纲无关：改变x的量纲后仍为因子模型 ３、因子载荷不惟一：也是因子模型的载荷矩阵（为正交矩阵） §2 参数估计 从因子模型 可看出，x、(是可观测的，f是不可观测的随机变量，(是不可观测的特殊因子。又因为，所以，因子分析的关键是求解因子载荷矩阵A和特殊因子方差阵。 一、主成分分析与因子分析的关系 设的主成分为： 即 因为为正交矩阵：，所以：。即 在上面的每一个等式中，保留前个主成分，后面的部分用代替，则模型 （*） 其中 从形式上看，（*）式很像因子模型，可实际上并不是因子模型。这是因为 所以，之间并不独立，不满足因子模型的条件４）。又主成分的方差为，而公共因子的方差要求为１，不满足条件３）。 虽然主成分的方差为，不满足条件３），但是，作一个变换，可使满足条件３）。令 ， 则 ， 代入（*）式，得 ，其中， 这里的和满足条件１）、２）、３）。由于与不独立，所以，这里的与不独立；又由于不独立的，故不独立。故和不满足条件４）、条件５满足。因此，这里的并不等于因子载荷矩阵。 但是，考虑与共性方差、特殊方差的关系 当共性方差很大，特殊方差很小时，就是因子载荷矩阵近似估计。 二、主成分法 结论1 主成分法因子载荷的估计为 其中，是