第3章回归分析.docVIP

第4章　多元线性回归分析 本章提要 回归分析是研究1个因变量与多个自变量之间的依赖关系①。例如某地区农作物的产量或品质(如水果的含糖量)可能依赖于土壤的酸碱度、营养元素和微量元素含量等指标，又如区域内Au的矿化可能依赖于其它地球化学指标，如Cu、Fe、As、Bi、S、F、Cl等的含量，但由于自然现象的复杂性，这种依赖关系并不是完全确定的，而只是统计意义上的。回归分析就是用来揭示这一统计规律性的方法。 因变量y与自变量x1，x2，… ，xp之间的这种关系可表示为 y＝f (x1，x2，… ，xp)+???　　　 p为自变量数，?为误差部分，一般可假定服从均值为0，方差为? 2的正态分布，即有??~ N (0, ? 2)。 多元线性回归 1. 多元线性回归模型 因变量y与自变量x1，x2，… ，xp之间最简单的依赖关系是线性关系 (4.1） 称为p元线性回归模型，而 　　　　　 称为回归方程，??0, ??1, … , ??p为未知参数，其中??0为常数项， ? j ( j=1, 2, …, p)称y对x j的偏回归系数。 回归方程的几何意义是以一个超平面来拟合空间数据，见图文框4.1。 为建立多元线性回归方程，首先要对所研究的自变量和因变量进行抽样分析，第i个样品的p个变量的分析价值为xi1，xi2，… ，xip，相应的应变量值为yi。则根据回归模型，有 ， i=1, 2, …, n, 　　 若记 　　 　　 (注意X与前面数据矩阵的差异)，则(4.4)式可用矩阵表示为 　　　　(4.2) 多元线性回归分析的问题是从已知的数据矩阵y和X出发，如何求得参数? 的估计值，并对估计误差作出推断。 假设? 1, ??2, …,???p相互独立，且均服从同一正态分布N (0, ? 2)，这就意味着y服从n元正态分布，且 　　(4.3) I为的单位阵。 　　2. 参数的最小二乘估计 以b=(b0, b1, … , bp)’为? 的估计值，则称 　　(4.4) 为y关于x1，x2，… ，xp的经验线性回归方程，以此可求出各样品的回归值 回归值与实际观测值之间的误差平方和(也称残差平方和))记为 　　 (4.5) 最小二乘法要求选取b=(b0, b1, … , bp) ’ 使得误差平方和达到最小。将(4.4)代入上式得 　　　　(4.6) 欲求其最小值只需Q对系数b0, b1, … , bp求导数并令其为零，得 　　　　(4.7) 它可进一步简化并以代替，得到 　　　　(4.8) 这是一个求解b0, b1, … , bp的线性方程组，或表示成矩阵的形式 　　　　 (4.8’) 可以证明矩阵是非奇异的，逆矩阵存在，于是可得到解 　　 (4.9) 　　另一种常用的表达式是从(4.8)式中消去b0。(4.8)式的第1个方程可改写为 　　　 这表明回归平面经过原数据点的重心。或为 　　　 　(4.10) 代入(4.8)中其余各式以消去b0，可得 　　　 或 　　Sb=sy　　　　　(4.11) 其中系数矩阵 　　， ，　　(4.12) S即为自变量的协方差阵 　　　　 而sy＝(sj y)为变量j与因变量之间的协方差向量 　　　 这里b中不含b0项，要注意区别于前面定义的b。 若记C＝(cjk)为S＝(sjk )的逆矩阵，即C＝S －1，则由方程(4.11)可得 　　　　　(4.13) 求出 b1, … , bp后，可由(4.10)求出b0。误差平方和也可改写为 　　　　(4.14) 回归方程的显著性检验 对于任意给定的一组观测数据(xi1，xi2，… ，xip; yi), (i=1, 2, …, n)，我们都可以按照上一节的方法建立起回归方程。但实际问题很可能因变量y与自变量x1，x2，… ，xp之间根本不存在线性关系，这时建立起来的回归方程的效果一定很差，即回归值事实上不能拟合真实的值yi。即使整个回归方程的效果是显著的，在多元的情况下，是否每个变量都起着显著的作用呢？因此还需对各个回归系数进行显著性检验，对于回归效果不显著的自变量，我们可以从回归方程中剔除，而只保留起重要作用的自变量，这样可以使回归方程更简练。 为此，我们来研究回归系数的统计特征。由前面方程(4.9)知，b是因变量y的线性函数，因此b服从正态分布，且有 所以，最小二乘估计b是b的无偏估计，其协方差矩阵为 　　 所以有 　　 由(4.13)式还可以得到各bj的方差 　　 即有 　　　　　(4.15) 对于残差平方和，可以证明有 　　　 所以我们可以得到误差? j(也是因变量y j的)方差?2的无偏估计，记为 　　　　　(4.16) 多元线性回归效果的好坏