主成分分析方法.pptVIP

主成分分析方法 问题的提出 地理环境是多要素的复杂系统，在进行分析时多变量问题是经常会遇到的。变量太多，会增加分析问题的难度与复杂性，而且在实际问题中，多个变量之间往往具有一定的相关关系。因此，能否在各个变量之间相关关系研究基础上，用较少的新变量代替原来较多的变量，而且使这些较少的新变量尽可能多地保留原来较多的变量所反映的信息？ 主成分分析 上述想法是可以实现的。 主成分分析方法就是综合处理这种问题的一种强有力的方法。 主成分分析的基本原理 主成分分析是把原来多个变量化为少数几个综合指标的一种统计分析方法，从数学角度来看，这是一种降维处理技术。 主成分分析的基本原理 假定有n个地理样本，每个样本共有p个变量描述，这样就构成了一个n×p阶的地理数据矩阵： 主成分分析的基本原理 当p比较大时，如何从这么多变量的数据中抓住地理事物的内在规律性？要解决这一问题，自然要在p维空间中加以考察，这是比较困难的。 主成分分析的基本原理 为了克服上述困难，就需要进行降维处理，即用较少的几个综合指标来代替原来较多的变量指标，而且使这些较少的综合指标既能尽量多地反映原来较多指标所反映的信息，同时它们之间又是彼此独立的。 主成分分析的基本原理 这些综合指标（即新变量）应如何选取？ 最简单的形式就是取原来变量指标的线性组合，适当调整组合系数，使新的变量指标之间相互独立且代表性最好。 主成分分析的基本原理 如果记原来的变量指标为x1，x2，…，xp，它们的综合指标——新变量指标为z1，z2，…，zm ( m≤p )。则 主成分分析的基本原理 在上式中，系数lij由下列原则来决定： (1) zi与zj（i≠j；i，j = 1，2，…，m )相互无关； (2) z1是x1，x2，…，xp的一切线性组合中方差最大者；z2是与z1不相关的x1，x2，…，xp的所有线性组合中方差最大者；……；zm是与z1，z2，……，zm-1都不相关的x1，x2，…，xp的所有线性组合中方差最大者。 主成分分析的基本原理 这样决定的新变量指标z1，z2，…，zm分别称为原变量指标x1，x2，…，xp的第一，第二，…，第m主成分。 主成分分析的基本原理 其中，z1在总方差中占的比例最大，z2，z3，…，zm的方差依次递减。 在实际问题的分析中，常挑选前几个最大的主成分，这样既减少了变量的数目，又抓住了主要矛盾，简化了变量之间的关系。 主成分分析的基本原理 从以上分析可以看出，找主成分就是确定原来变量 xj ( j = 1，2，…，p ) 在各主成分zi ( i = 1，2，…，m ) 上的载荷lij ( i = 1，2，…，m；j = 1，2，…，p )，从数学上容易知道，它们分别是 x1, x2, …, xp 的相关矩阵的 m 个较大的特征值所对应的特征向量。 主成分分析的计算步骤 (1)计算相关系数矩阵 (2)计算特征值与特征向量 (3)计算主成分贡献率及累计贡献率 (4)计算主成分载荷 (1)计算相关系数矩阵 (1)计算相关系数矩阵 相关系数 rij 的计算公式为: (1)计算相关系数矩阵 因为相关系数矩阵 R 是实对称矩阵（即rij = rji ），所以只需计算上三角元素或下三角元素即可。 (2)计算特征值与特征向量 首先解特征方程|λI – R | = 0 求出特征值λi（i =1，2，…，p )，并使其按大小顺序排列，即λ1≥λ2≥…，≥λp≥0； (2)计算特征值与特征向量 然后分别求出对应于特征值λi的特征向量ei ( i=1, 2, …, p )。 (2)计算特征值与特征向量 数值计算方法 实对称矩阵特征值与特征向量的雅可比法 雅可比法的算法原理 雅可比（Jacobi）方法求实对称矩阵特征值与特征向量的基本思路如下： 设 n 阶矩阵 A 为对称矩阵，在其非对角线元素中选取一个绝对值最大的元素，设为apq，利用平面旋转变换矩阵 R0( p, q,θ)对 A进行正交相似变换： A1 = A R0 ( p, q,θ) 其中， R0 ( p, q,θ) 的元素为： 雅可比法的算法原理 rpp＝cosθ，rqq＝ cosθ ， rpq＝-sinθ, rqp＝sinθ, rij＝0，i，j ≠ p, q 雅可比法的算法原理 如果按下式确定角度θ : 则对称矩阵A经上述变换后，其非对角线元素的平方和将减少2a2pq，对角线元素的平方和将增加2a2pq，而矩阵中所有元素的平方和保持不变。 雅可比法的算法原理 由此可知，对称矩阵 A 每经过一次这样的正交相似变换，其非对角线元素的平方和将向 0 趋近一步。因此，只要反复进行上述正交变换，就可以将对称矩阵 A 变换为对角矩阵。对角矩阵中对角线上的元素即是矩阵的特征值，而每一步中的平面旋转矩阵的乘积的一列即为对应的特征向