4第三章多元线性回归模型分析(二).pptVIP

§3.3 OLS估计量的有限样本性质 之前我们对线性回归的代数性质进行了分析。下面将从统计角度对最小二乘估计进行分析。 我们将在有限样本（n确定且较小）情形下考虑参数估计的无偏性，以及某些统计量的确切概率分布。这些结果可能要求一些比较强的假设条件，例如回归变量的非随机性，残差序列的正态概率分布等。 在以后的章节中我们将在更为一般的假设下考虑最小二乘估计的性质，这时随着样本数量的增加，一些性质则是渐近成立的。（待定） 本章中，我们考虑在古典假设下最小二乘估计的性质。我们始终假设模型的线性结构满足。 1、线性性 2、无偏性 3、有效性 最小二乘估计量是所有线性无偏估计量中方差最小的。（其证明将借助于估计量方差的估计） 参数估计量的方差-协方差矩阵和随机误差项?2方差的估计 1、参数估计量的方差-协方差 将参数估计量看作随机量，具有数字特征。 参数估计量的方差以及不同参数估计量之间的协方差在模型理论中具有重要性。 具体描述如下： 所以 定理 Gauss – Markov Theorem 高斯—马尔可夫定理 (1) 在具有线性回归矩阵 的古典线性回归模型中，最小二乘估计 是系数 的最小方差线性无偏估计； (2) 对任意常数向量 ，在古典线性回归模型中参数 的最小方差线性无偏估计是 ，这里 是最小二乘估计。 上述定理的（2），被称为最小二乘估计不变性。 利用此定理可考虑系数之间的整体作用和交互作用。所有参数的不同组合，可通过w的不同取值来得到。 例如：为得到 的估计量，可令 若要得到 的估计量呢？ 2、随机误差项方差?2的估计 这说明，所猜想的方差估计量不行，而要寻找?2的无偏估计。 样本容量问题 1、最小样本容量 所谓“最小样本容量”，即从最小二乘原理和最大或然原理出发，欲得到参数估计量，不管其质量如何，所要求的样本容量的下限。 样本最小容量必须不少于模型中解释变量的数目（包括常数项）。 2、满足基本要求的样本容量 从参数估计角度：＞3×解释变量数目 从检验的有效性角度：＞30 3、一般而言， ＞50为大样本数据 ≤30为小样本数据 §3.4 单方程模型的统计检验 （一） 一、拟合优度检验 二、方程显著性检验 三、变量显著性检验 一、拟合优度和方差分析 应该指出，对于任意被解释变量和解释变量的一组观测值，我们总是可以运用最小二乘法得到一条直线，问题是该直线能否较好地拟合所给定的观测值，这就是拟合优度问题。拟合优度是变量之间关系强度的测度。在这里，指的是变量间线性关系强度的测度。 问题：采用普通最小二乘估计方法，已经保证了模型最好地拟合了样本观测值，为什么还要检验拟合程度？ 拟合优度检验的思想 因为拟合优度衡量的是，我们所建立的线性模型利用了样本中多少信息。 利用的信息越多越好。 信息如何衡量呢？即变差。如样本原始数据中含有的信息（波动性）用相依变量的离差平方和表示。 既然SSR反映样本观测值与估计值偏离的大小，可否直接用它作为拟合优度检验的统计量？ 不行 统计量必须是相对量 相关系数与确定系数是否有关系呢？ 为此，我们给出给出一种计算确定系数R2的等价方法 ： R2高低的判断 一般而言，决定系数R2越高越好。但什么是高呢？要根据具体的情境来考虑。 到目前为止，还没有一个绝对的标准。 一般地，如果使用的是累积时间序列数据，则模型的R2比较高。如果使用的是截面数据，则0.5左右的R2则是比较高的了。 有时候截面数据中得到的R2等于0.2，也是很有价值的。所以，通常来讲，做宏观问题的R2较高，因为数据较为累积。做微观数据的R2较低，因为其数据不稳定。 R2的局限性之一 R2的局限性之二 使用R2来分析拟合优度时存在一些问题，第一个考虑是在估计参数时所使用的自由度数量。随着新的变量增加到回归方程中，R2绝对不会出现降低，它是回归变量个数的递增函数。这个结论可以由下述定理给出。 一个推广 前页最后一行的公式给出了 的计算方法。 显然，上述定理说明，增加解释变量以后，回归方程的决定系数不会变小。甚至只要持续增添解释变量，则决定系数将收敛到极限1。即 所以， R2有缺陷。对于n个样本，随着K的增加，模型的自由度不断降低，从而使模型大打折扣。 R2的改进 变量个数和变量选取准则 对于AIC、