第三章多元线性回归模型分析（一）.pptVIP

这个过程一般被称为变量X1作用的“挤出”或者“分离”过程。出于这个原因，多元回归系数经常被称为偏回归系数(partial regression coefficients)。 对于这个情形的一种特例，我们考虑向量Y基于一组变量X和一个附加变量Z的最小二乘回归问题。这时最小二乘系数表示为b和c。这种情形下的结果可以由下述推论得到： 例子：这个命题的一个直接应用是，可以考虑采用时间趋势脱离后的残差向量进行替代，以求出包含时间变量的多元回归系数。这与将时间T作为解释变量放入模型中的效果是等同的。 例子：在下列模型中 Earnings =a+b*education+c*age+d*age2 +ε 第二个系数b如何得到？ 对数据做中心化处理是否会改变参数估计结果？ 作为这些结论的一个应用，我们考虑矩阵X的第一列全为1的包含常数项的情形。 通常将 称为中心化矩阵。 从矩阵结构可以看出，其与变量X无关，只是一个数据转换工具，其中的矩阵Jn被称为列求和矩阵。 例子： 中心化矩阵是对称幂等矩阵吗？ 其是否满秩？ 四、偏回归与偏相关系数（partial regression and partial correlation coefficients ） 多元回归的用途之一，是提供了一个概念性框架，用以解决实践中难以进行的实验，就象经济学中的“其他假设不变”(ceteris paribus)的分析。 比如说，在收入与教育关系的多元线性回归模型中，我们能够比较两个年龄完全相同，但教育水平不同的人的收入，即使我们的样本中并不包含这样的个体数据。这就是偏回归系数的特征。 偏回归系数是这样得到的：我们将收入和教育分别基于年龄回归，得到回归残差。我们知道，年龄对这些残差毫无解释能力。因此，“挤出”年龄影响后的成分之间的关系是完全独立于年龄的。 同样的道理可以应用到两个变量之间的相关关系方面。在多元回归中，“偏相关系数”经常表示两个变量之间的“直接关系”，这是一种分离其他变量影响之后的两者之间的“净关系”。 关于两个模型y=xd+zc+u和y=xb+e的残差平方和的详细关系的推导见下页： 上述定理的一个重要启示是，只要增加线性回归模型中的解释变量，就可以降低回归模型的残差平方和。这样一来，无论解释变量与相依变量之间的关系如何，解释变量都是“有用”的或者是“有价值”的。 例子：取自Greene的《经济计量分析》 投资与其余变量之间的关系表 简单相关系数 偏相关系数 时间 0.7496 -0.9360 GNP 0.8632 0.9680 利率 0.5871 -0.5167 通货膨胀 0.4777 -0.0221 注意到：偏相关系数的符号与多元回归模型的参数符号相同。 * 进行这一区分，主要是为了更加科学、合理地分析财政态势。 结构性赤字与高度就业赤字或充分就业赤字是相同的概念。 * 由于或然函数的极大化与或然函数的对数的极大化是等价的，所以，取对数或然函数如下： 同理，分析多元线性回归模型 Y的随机抽取的n组样本观测值的联合概率 对数似然函数为 参数的极大似然估计 结果与参数的普通最小二乘估计相同 附录：矩估计(Moment Method,MM) 矩估计是基于实际参数满足一些矩条件而形成的一种参数估计方法。 随机变量的均值和方差如何得到？ 例：总体：E（Y-μ）=0 样本矩（用样本矩估计总体矩）： 满足相应的矩条件： 同理，方差的估计量是样本的二阶中心矩。 现在，考虑一元线性回归模型中的假设条件： 其所对应的样本矩条件分别为： 可见，与OLS估计量的正规方程组是相同的。 多元线性回归模型矩估计的矩条件通常是这样构造的： 对于多元线性回归模型 Y=Xβ+ε 两边分别左乘 ，即得到 上式称为总体回归方程的一组矩条件。现在，我们随机抽取样本，用样本矩代替总体矩，得到： 解此正规方程组即得参数的估计量，这种估计方法称为矩估计。其参数估计结果与OLS一致。 样本形式：用每个解释变量分别乘以模型的两边，并对所有样本点求和，即得到： 对每个方程的两边求期望，有： 得到一组矩条件 求解这组矩条件，即得到参数估计量