主成分分析、因子分析、聚类分析.docVIP

主成分分析、因子分析、聚类分析 主成分分析 设题目中m个有一定相关关系的变量表示原始指标，记为??1，??2,..,????，样本数为n，则观测样本数矩阵为： ?x11x12?x1m??x?x?x21222m? X??????????xx?xnm??n1n2 为了用原始指标的线性组合表示主成分，将原始数据进行标准化处理： Xik?xik?xk i＝1，2，?，n；k＝1，2，?，m Sk 1n1n 式中： xk??xik；Sk?(xik?xk)2。 ?n?1i?1ni?1 计算相关系数矩阵。 ??11?12???22R??21 ??????m1?m2 式中： ?ij??ji， ??1m???2m????????mm? ?ij??( k?1nXki?Xkjn)??(xnki?i)(xkj?j) j＝1，2，?，m 用雅可比方法解相关系数矩阵的特征方程?I?R?0，得到矩阵R的m个非负特征值，并求得对应于特征值i的特征向量，并按从大到小的顺序排列： ? ?1??2????m?0， Cik?(Ci1,Ci2,?,Cim) i＝1，2，?，m。 由特征向量组成m个新指标： ?Z1?C11X1?C12X2???C1mXm?Z?CX?CX???CXm ????Zm?Cm1X1?Cm2X2???CmmXm 由线性代数的知识我们可知主成分的如下特征： 各特征向量之间互不相关，那么主成分也是互不相关的。 全部m个成分所反映的n例样本的总信息等于m个原变量的总信息。 第j个主成分的贡献率是 ?i ?? k?1 p ?i?1,2,?,p?。 k 前面P个成分的累计贡献率是 ???? k?1k?1p i k ?i?1,2,?,p?。 k 选取累计贡献率已经达到85％以上的特征值??1=,??2= ,??3= ,….作为主成分。计算各变量x1，x2，……，x9在各主成分上的载荷得到主成分载荷矩阵 因子分析 计算原始数据的相关矩阵，若相关矩阵的大部分系数都小于0.3，则不适合进行因子分析。我们只选择有较强相关性的变量作为因子分析的原始变量。 将p个可观测变量????(??=1,2,..,??)标准化得到新变量????(??=1,2,..,??)以消除变量间在数量级和量纲上的不同。 将标准化后的变量表示成m+p个不可观测的随机量???? ?? = 1,2,…,?? ，????(??=1,2…,??)的线性组合，即： ????= ????+????1??1 + ????2??2 +?+ ?????????? +????(?? = 1,2,…,?? )，(1) 其中??称为公共因子，它们的含??(??= 1,2,…,??)对 X 的每个分量都起作用，义要根据具体问题来解释，????(??= 1,2,..,??) 仅与变量????有关，称为特殊因子，系数?????? (??=1,2,..,??,??=1,2,…,??)称为因子载荷，??=(??????)称为载荷矩阵。 为得到载荷矩阵[在这里用主成分法]，先求出标准化数据的相关矩阵如下： ??11?12 ???2221?R????? ??m1?m2 式中： ?ij??ji， n ??1m?? ???2m??=? ???? ?? ??mm?? ??? ??? ?ij??( k?1 Xki?Xkj n )? ?(x n ki ?i)(xkj?j) j＝1，2，?，m 前m个因子包含的数据信息总量（即其累积贡献率）为***%gt;80%，故选择??1，??2，…，??并计算其特征值对应的特征向量，得到因子载荷矩??为主因子，阵。 若所得的m个因子无法确定实际含义义或含义不清，为获得较为明确的实际含义，根据因子载荷阵不唯一的性质，用方差最大法[或正交旋转法，或四次方最大法，或等量最大法]对因子载荷阵进行旋转，从而简化因子载荷阵的结构，使载荷矩阵每列或行的元素平方值向0和1两级分化。 用原指标的线性组合，在这里用用回归估计法[或Bartlett估计法，或Thomson估计法]来求各因子得分。 以各因子的方差贡献率为权，由各因子的线性组合得到综合评价指