经典线性回归模型的设定与推断.docVIP

2 经典线性回归模型 §2.1 概念与记号 1．线性回归模型是用来描述一个特定变量y与其它一些变量x1，…，xp之间的关系。 2．称特定变量y为因变量（dependent variable）、被解释变量（explained variable）、响应变量（response variable）、被预测变量（predicted variable）、回归子（regressand）。 3．称与特定变量相关的其它一些变量x1，…，xp为自变量（independent variable）、解释变量（explanatory variable）、控制变量（control variable）、预测变量（predictor variable）、回归量（regressor）、协变量（covariate）。 4．假定我们观测到上述这些变量的n组值： (i=1，…，n)。称这n组值为样本（sample）或数据（data）。 §2.2 经典线性回归模型的假定 假定2.1（线性性(linearity)） (i=1，…，n)。 （2.1） 称方程（2.1）为因变量y对自变量x1，…，xp的线性回归方程（linear regression equation），其中是待估的未知参数（unknown parameters），是满足一定限制条件的无法观测的误差项（unobserved error term）。称自变量的函数为回归函数（regression function）或简称为回归（regression）。称为回归的截距(ntercept)，称为自变量的回归系数（regression coefficients）。某个自变量的回归系数表示在其它条件保持不变的情况下，这个自变量变化一个单位对因变量的影响程度，这个影响是在排除其它自变量的影响后，这个自变量对因变量的偏效应。 下面引入线性回归方程的矩阵表示。记 （未知系数向量（unknown coefficient vector）） ，，则 (i=1，…，n)。 又记 X=， Y=， ，则 假定2.2（严格外生性(strictly exogeneity)） =0 (i=1，…，n)。 严格外生性的含义 ·误差项的无条件期望为零 (i=1，…，n)。 ·正交条件（orthogonality conditions） (i=1，…，n ; j=1，…，n )。 ·不相关条件（zero-correlation conditions） (对所有i，j，k)。 由以上严格外生性的含义可知，如果在时间序列数据中存在的滞后效应（lagged effect）和反馈效应（feetback effect），那么严格外生性条件就不成立。因而，在严格外生性假定下推出的性质就不能用于这类时间序列数据。滞后效应是指自变量历史值对因变量当前值的影响，反馈效应是指因变量当前值对自变量未来值的影响。 假定2.3（无多重共线性(no multicollinearity)） n×(p+1)矩阵X的秩为(p+1)的概率为1。 假定2.4（球面误差方差(spherical error variance)） ·条件同方差（conditional homoskedasticity） (i=1，…，n)。 （误差方差） ·误差项不相关(no correlation between error term) (对所有i≠j) 在经典线性回归模型的四个假定中，假定2.1和假定2.3是必不可少的，但假定2.2和假定2.4中的严格外生性、条件同方差和误差项不相关以后可以适当放宽。 §2.3 随机样本的经典线性回归模型 若样本(i=1，…，n)为IID，那么假定2.2和假定2.4可简化为 假定2.2: (i=1，…，n) 假定2.4： (i=1，…，n) §2.4 确定性自变量的经典线性回归模型 若更进一步假定自变量x1，…，xp为确定性的变量，那么假定2.2和假定2.4可进一步简化为 假定2.2： (i=1，…，n) 假定2.4： §2.5 最小二乘估计量及其代数性质 虽然我们无法直接观测到误差项，但对未知系数向量β的一个假想值（hypothetical value），容易计算出 称这个量为第i次观测的残差（residual），并且称使残差平方和（residual sum of squares） = 达到最小的假想值：