岭回归理论知识.docxVIP

一、普通最小二乘估计带来的问题 当自变量间存在多重共线性时，回归系数估计的方差就很大，估计值就很不稳定。此时模型或数据的微小变化有可能造成系数估计的较大变化,对预测值产生较大影响。下面进一步用一个模拟的例子来说明这一点。例1 假设已知，与的关系服从线性回归模型给定，的10个值，如下表：表1.二.、岭回归提出的背景岭回归是1970年由Hoerl和Kennard提出的, 它是一种有偏估计,是对最小二乘估计的改进。设有多重线性回归模型,参数的最小二乘估计为则 当自变量出现多重共线性时,普通最小二乘估计明显变坏。当时，就会变得很大，这时，尽管是的无偏估计，但很不稳定，在具体取值上与真值有较大的偏差，甚至会出现与实际意义不符的正负号。设想给加上一个正常数矩阵（），那么接近奇异的程度就会变小。先对数据作标准化，标准化后的设计阵仍用X表示。称为岭回归估计。这里的成为岭参数。当时的岭回归估计就是普通的最小二乘估计。因为岭参数不是唯一确定的，所以我们得到的岭回归估计实际是回归参数的一个估计族，取不同的值时的取值不同。以为横坐标，为纵坐标的直角坐标系，可分析估计族的稳定性。?优点:比最小二乘估计更稳定三、岭迹分析?在岭回归中，岭迹分析可用来了解各自变量的作用及自变量之间的相互关系。下图所反映的几种有代表性的情况来说明岭迹分析的作用。图1.岭迹图四、岭参数的选择（一）方法1. 由残差平方和来确定值2. Hoerl-Kennard公式3. 方差扩大因子法4. 岭迹法岭迹法的直观考虑是，如果最小二乘估计看来有不合理之处，如估计值以及正负号不符合经济意义，则希望能通过采用适当的来加以一定程度的改善，值得选择就显得尤为重要。选择值得一般原则是：（1）各回归系数的岭估计基本稳定；（2）用最小二乘估计时符号不合理的回归系数，其岭估计的符号变得合理；（3）回归系数没有不合乎经济意义的绝对值；（4）残差平方和增大不太多。图2如上图，当取时，各回归系数的估计值基本上都能达到相对稳定。缺点:用岭迹法来确定值缺少严格的令人信服的理论依据,存在一定的主观人为性.优点:恰好发挥定性分析与定量分析有机结合.?（二）岭回归选择变量的原则：（1）在岭回归中设计矩阵X已经中心化和标准化了，这样可以直接比较标准化岭回归系数的大小。可以剔除掉标准化岭回归系数比较稳定且绝对值很小的自变量。（2）随着的增加，回归系数不稳定，震动趋于零的自变量也可以剔除。（3）如果依照上述去掉变量的原则，有若干个回归系数不稳定，究竟去掉几个，去掉哪几个，这并无一般原则可循，这需根据去掉某个变量后重新进行岭回归分析的效果来确定。 ??讲稿——岭迹图解说Y有显著影响????