概率论与数理统计课件（王志勇）C9-2一元线性回归分析.pptxVIP

§9.2一元线性回归分析 仅有一个自变量的回归分析称为一元回归分析, 有多个自变量的回归分析称为多元回归分析.若回归函数是线性函数其中b0 , b1 , …, bk是未知常数，称为线性回归问题.1. 一元线性回归模型 只有一个自变量 X 的一元线性回归模型是Y = a + bx + ? , E(?) = 0, D(?) =σ2 在这个模型中, a、b为常系数, b 称为 Y 对 X 的回归系数, a 称为回归常数 . 取定自变量 X 的一组值 x1, x2, ··· , xn, 对因变量 Y 做 n 次独立观测, 记试验结果为Y1, Y2, ··· , Yn, 则有Yi = a + bxi + ? i i = 1, 2, ··· , n ? i 是第 i 次观测时的随机误差,有 (1) ? 1, ? 2,···,? n 独立同分布; (2) E(? i ) = 0, D(? i ) =σ2, i = 1, 2, ··· , n .回归假定 通常, 进一步假定回归模型为Y = a + bx + ? ,? ~ N(0, σ2)称为一元线性正态回归模型. 这样 ? 1, ? 2, ···,? n 可视为正态分布总体 N(0, σ2) 的样本 . 又设Y1, Y2, ··· , Yn的实际观测值为 y1,y2, ··· , yn, 我们主要完成以下两个工作:Y = a + bx + ? , ? ~ N(0, σ2) 用观测值 ( xi , yi ) i = 1, 2, ··· , n, 对参数 a, b, σ2进行估计; 对所假定的回归模型进行检验.2. a、b、σ2 的估计(1) a、b 的估计 对自变量X的一组值x1, x2, …,xn 做n次独立试验，得独立观察值y1, y2, …,yn . 依据观察值 （xi，yi),i=1，2，…， n. 求a、b 的估计值.记yi 的估计值为称为经验回归值. 对所有的i，应使残差 都尽可能小,有三种思路：1) 使残差总和 最小；2) 使残差绝对值之和 最小；3) 使残差的平方和 最小. 缺点：可能正负误差抵消缺点：数学处理困难最小二乘法 最小二乘法体现的是一种最佳拟合的思想, 就是对已有的 n 个点( xi, yi ), 用直线拟合它们, 找出总残差最小的那条直线。 应用最小二乘法 分别对a,b求一阶偏导，并建立方程组：称为正规方程组将它们整理后, 得到方程组由克莱姆法则，解得其中都是重要的中间过度量(2) 误差方差σ2 的估计 由于σ2 = D(? ) = E(? 2), 且 ? 1, ? 2, ···, ? n可视为? 的样本, 故按照矩估计的思想, 是σ2的矩估计量. 可证明σ2的无偏估计量为代入，得其中 例1 流经某地区的降雨量X和该地河流的径流量Y 的观察值如下表， 降雨量xi: 110 184 145 122 165 143 78 径流量yi: 25 81 36 33 70 54 20 129 62 130 168 1436 (∑） 44 1.41 41 75 480.4（∑）求Y关于X的(经验)线性回归方程,试估计降雨量为200时径流量为多少？计算误差方差σ2 的无偏估计值.解：n=11,所求经验回归方程为降雨量为200时的径流量值为随机误差的方差σ2的估计为=（6050.59-0.632×13768.7）/11=53.253. 一元线性回归中的假设检验 检验自变量和因变量之间是否存在如回归模型所假定的那种形式的相关关系, 是回归分析的另一项重要工作。 实际上,在一元线性回归中,利用最小二乘法估计回归函数 a + bx,也只是选出 “相对的最好”,即是对已有的 n 个观测点 ( xi, yi ), 找出总残差最小的那条拟合直线。 如果变量之间确实存在线性相关关系, 直线回归方程就能较好的反映变量的这种关系, 否则没什么意义。 如何检验 X、Y 之间是否存在线性相关关系? 有一种直观的简易方法, 就是把 n 个观测点 ( xi, yi ) 描在平面上, 从这些点的分布情况大体上判断是否可以用直线来表示X、Y 之间的相关关系, 如下图所示。这些点分布在一条直线附近大致判断存在线性相关关系这些点分布在二次曲线附近存在非线性相关关系 把观测点 ( xi, yi ) 描在平面上得到的图形称为散点图。这样直观的判断只适合于一元回归, 并且缺乏定量的分析。 下面介绍一种常用的关于线性相关关系的假设检验方法。样本