第三章 双变量回归模型：估计问题.ppt

第三章 双变量回归模型 双变量线性回归模型的一般形式是： 一、估计方法初探 怎样估计样本回归直线呢？显然综合起来看，这条直线处于样本数据的中心位置最合理。 （1）用“残差和最小”作为确定直线位置的标准。但很快发现计算“残差和”存在相互抵消的问题。不能用于实际计算。 （2）用“残差绝对值的和最小”确定直线位置也是一个途径。但绝对值的计算比较麻烦。应进一步寻找更好的估计方法。 二、最小二乘估计法的原理 最小二乘法（OLS）的估计原理是以“残差平方和（ ）最小”为原则确定直线位置。这种估计方法的特点是对远离回归直线的观测点给予更大的关注。 三、最小二乘估计的计算 将观察值在直角坐标系中绘制出来 设样本回归方程为: 最小二乘法的基本思想（原则）：寻找实际值与拟合值的离差平方和为最小的回归直线。 OLS法是以Q取最小值为条件确定回归直线，即确定 和 的值。当样本已知时，上式中 的是已知量， 和 是未知量。把Q看作二者的函数。这是一个二元函数求极值问题。解法是求Q对 和 的偏导数并令其为零。 根据微积分中求极值的原理 ： 得正规方程如下： 由于参数的估计结果是通过最小二乘法得到的，故称为普通最小二乘估计量（ordinary least squares estimators）。 对OLS估计量的说明： OLS估计量可由观测值计算； OLS估计量是点估计量； 一旦从样本数据得到OLS估计值，就可画出样本回归线。 样本回归函数的表现形式： 证明： 四、样本回归线的性质 §2 经典线性回归模型的基本假定 一、基本假定 假定1: 线性回归模型，即回归模型对参数而言是线性的。 假定2: 在重复抽样中X值是固定的，即假设X是非随机的。 假定3: 随机误差项的均值为零。 假定4: 同方差性或ui的方差相等。 即ui的条件方差是恒定的。 假定5: 各个随机误差项之间无自相关。 利用假定5，就是说，我们将只考虑X对Y的系统性影响和是否有影响，而不去担心由于u之间的可能的交互相关而造成的其他可能作用于Y的影响。 假定6: ui与Xi的协方差为零。 假定7: 观测次数n不小于待估计的参数个数，换言之，观测次数n必须大于解释变量的个数。 假定8: X值要具有变异性。 假定9: 正确地设定了回归模型，即在经验分析中所用的模型没有设定偏差。 假定10：没有完全的多重共线性，即解释变量之间没有完全的线性关系。 二、最小二乘估计的精度或标准差 由于总体方差σ2通常未知，需要利用下式估算： 估计标准误差则为： 三、高斯－马尔可夫定理（最小二乘估计量的性质） （三）最小方差性 在所有这样的线性无偏估计量中，最小二乘估计量具有最小方差。有最小方差的估计量称为有效估计量。 高斯-马尔可夫定理：在给定经典线性回归模型的假定下，最小二乘估计量在无偏线性估计量一类中具有最小方差，即为最佳线性无偏估计或叫最小方差线性无偏估计。 【Best Linear Unbiased Estimator, BLUE】 BLUE估计量的图形表示 附： §3 拟合优度检验（统计检验之一） 问：样本回归线对数据拟合得有多好？ 如果全部观测点都落在样本回归线上，则得到的是一个“完美”的拟合。 一般情形：总有一些正的残差或负的残差。我们希望这些围绕着回归线的残差尽可能小。 判定系数就是用来做拟合优度检验的。 维恩图 拟合优度检验的几何含义 一、平方和公式 平方和公式中各项的解释 总平方和（TSS） 是实测的Y值围绕其均值的总变异。 解释平方和（ESS） 是估计的Y值围绕其均值的变异。 残差平方和（RSS） 是未被解释的围绕回归线的Y的变异。 平方和公式的几何表示 TSS=ESS+RSS 二、r2公式 r2 测度了在Y的总变异中由回归模型解释的那个部分所占的比例或百分比,称之为（样本）判定系数。 r2的两个性质：①它是一个非负值；②取值范围：0≤r2≤1 问： r2=0 意味着什么？ r2=1 意味着什么？ r2 =1 r2 =0 三、判定系数与样本相关系数r 相关系数r 的一些性质 可正可负 区间为[-1，+1] 是对称的 与原点和尺度无关： 若Xi*=a Xi +b, Yi*=c Yi +d，a0，c0， 则r(Xi* ,Yi* )= r(Xi ,Yi ) 若X与Y独立，则相关系数为0；反之不然 是线性关联，不能用于描述非线性关系 未必有因果关系，只是线性关联 四、相关样式的图形表示 四、相关样式的图形表示(续1) 四、相关样式的图形表示(续2) 四、相关样式的图形表示(续3) 一个数值例子：支出与收入 一个数值例子 斜率项 0.51：在80到260美元的X的样本极差（最大值减最小值）范围内，X每增加1美元，平均每周消费估计增加51美分。