3 多元线性回归解析.pptVIP

一、多元线性回归模型 正规方程组的矩阵形式 自回归分析 主要用于时间序列的分析 时间序列的自相关，是指序列前后期数值之间的相关关系 自相关性判断—自相关系数，用于相关关系程度的测定 原理：假设共有n个观察值Y1,Y2,…, Yt,…,Yn，把前后相邻两期的观察值一一成对，便有(n?1)对数据，即(Y1,Y2),(Y2,Y3),…,(Yt,Yt+1),…, (Yn-1,Yn) 自回归模型的建立 如果判断一个时间序列具有某种显著的自回归性时，就可以按照回归分析方法建立该时间序列的自回归模型。 与回归模型一样，自回归模型也有线性和非线性之分。最常见的是线性回归模型 应用举例 【例】某地区1992-2003年12年自然灾害造成的成灾面积的时间序列数据见表1。试计算该时间序列的自相关系数，并用自回归模型预测2004年的成灾面积。 首先，计算一阶自相关系数，得到r= 0.9761 样本数n=11，自由度f =11-2=9，在置信水平α=0.001下查相关系数的临界值为0.8471。所以可以建立线性自回归模型 k 阶自相关系数为 常见的线性自回归模型： ① 一阶线性自回归预测模型为 ② 二阶线性自回归预测模型为 ③ 一般地，p阶线性自回归模型为 在以上各式中， 为待估计的参数值，它们可以通过最小二乘法估计获得。 62 12 2003 62 61 11 2002 61 61 10 2001 61 60 9 5000 60 59 8 1999 59 58 7 1998 58 56 6 1997 56 55 5 1996 55 53 4 1995 53 53 3 1994 53 52 2 1993 52 50 1 1992 yt+1 成灾面积Yt (100hm2) 序号 年份 表1 某地历年成灾面积调查 用最小二乘法估计模型参数，得到如下一阶自回归方程 Yt = 5.289 + 0.92527Yt-1 Y2004 = 62.656 r =0.976 预测：当 yt-1 = 62 时，求得 结 束 则称 A 为 n ? p 阶矩阵，一般记为A＝(aij)n×p，其中aij是A中元素。 将n×p个实数 a11,a12,…,a1p, a21,a22,…,a2p, …, an1,an2,…,anp 排成如下形式的矩形表，记为A 矩阵及乘法运算 当n＝p时，称 A 为n阶方阵；称a11,a22,…, ann 为A的对角线元素，其它元素称为非对角元素； 若p＝1，A只有一列，即为列向量，记为 当n＝1时，A只有一行，即为行向量，记为 若方阵A的非对角元素全为0，称A为对角阵，记为 若A为对角阵，且a11＝a22＝…＝ann＝1 ，称 为n阶单位阵，记为 In 或 A＝I ( I的阶数从上下文可明确) * 第三讲 多元线性回归分析 7a （1） 式中：?0,?1,…,?k为模型参数；? 为随机变量。 (1)一般形式 假设某一要素Y受k个要素X1,X2,...,Xk的影响，内在联系是线性关系，则数学模型的一般形式为 对于n组观测数据 (Y?,X1?,X2?,…,Xk?) ?=1,2,…,n，应满足 (? = 1,2,…,n) 偏回归系数的意义： 当其他自变量都固定时，自变量Xi每变化一个单位而使因变量平均改变的数值 （2） 采用某种方法估计参数? ，如果 分别为式（1）中?0,?1,…,?k 的估计值，则样本回归方程为 在（2）式中， 为常数， 称为偏回归系数 根据最小二乘法原理，?i (i = 0,1,2,…,k)的估计值 (i=0,1, 2,…,k) 应该满足 （3） （4） 由求极值的必要条件得 (2)模型参数的最小二乘估计 (5) 方程组（5）式称为正规方程组。 方程组（4）式经展开整理后得 引入矩阵 ①观察值矩阵： ②正规方程组系数矩阵： （矩阵的乘法运算） ③正规方程组常数项矩阵 ④正规方程组解向量 正规方程组（5）式可以写成如下的矩阵形式： （6） 求解得 即得到参数?的最小二乘估计 参数?的最小二乘估计是无偏估计 事实上 （其中 ） (3)回归模型的中心化形式 其中 则线性模型的观察值矩阵为 由最小二乘法得到的正规方程组的常数项矩阵为 正规方程组的系数矩阵为 令 （注：若回归模型是标准化的形式，则上述lij变为rij） 于是 正规方程组变为 由此求得 于是，中心化模型的回归系数 也即 于是，中心化的回归方程为 或 （其中