回归剖析多元元逐步回归.pptVIP

§2.5多元逐步回归算法原理 多元回归模型首先将实际问题所提取的全部变量引 入方程,然后再根据变量的显著性检验把方程中不重 要的变量逐一剔除,建立新方程 缺点:(1)首先在实际问题中,要提取合 适的变量来建立回归方程本身不是一件很容易 的事情,变量间可能存在高度的相互依赖性会 给回归系数的估计带来不合理的解释; (2)其次变量的一次性引入方程,易导致计 算量增大,运算效率降低,精度不够等问题  §2.5多元逐步回归算法原理 为了得到一个稳健的、可靠的回归模 型,这就需要给出一种方法,使得能从 影响y的因素中自动根据某种准则将”对 贡献大的变量x2(或者说对y重要的变 量x引入方程,不重要的变量从方程 中剔除。最终在观测数据基础上建立最 优的回归方程。  82.5.1逐步回归算法的形成思路 逐步回归算法基本思路 根据各自变量的重要性,每一步选一个重要 的变量进入回归方程。 第一步是在所有可供挑选的变量中选出一个变量, 使它组成的一元回归方程比其他变量有更大的回归平方 和。第二步是在剩下的自变量中选这样一个变量,它与 已选入方程的那个变量所组成的二元回归方程,比其他 任一变量与已先选入方程的变量所组成的二元回归方程, 有更大的回归平方和。  82.5.1逐步回归算法的形成思路 如此继续下去,假设已经进行到l-1步,那第l步 是在未选的变量中选出这样一个变量,它与已选入回 归方程的变量组成元回归方程,比其他余下的任何 一个变量组成的元回归方程,有更大的回归平方和。 逐步回归不仅考虑到按贡献大小逐一挑选重要变量, 而且还考虑到较早选入回归方程的某些变量,有可能 随着其后一些变量的选入而失去原有的重要性,这样 的变量也应当及时从回归方程中剔除,使回归方程中 始终只保留重要的变量。  82.5.1逐步回归算法的形成思路 如x,x,引入方程后,再引入rs,也许由xs的引 入而x的重要性反而变得不重要,应及时剔除。 假设已有个自变量引入回归方程,即已知回 归方程是 y=b+b1x1+b2x2+…+bx1 此时该方程相应的总离差平方和记为 S点=S回+S=U(x 192, 1)+Q (2.14)  82.5.2引入自变量的依据 现在在已有的1个自变量所组成的回归方程中再 引入一个自变量,不妨记为x(=1+1,l+2,,m),于 是引入了一个自变量x的回归方程可表示为 S总=U(x1,x2…,x,x)+Q(x1,x2,…,xx)(215) 现在用式(215)减去式(214),并注意到 式(214)与式(215)总离差平方和不变, 可得 U(x1,x2,…,x1,x;)-U(x1,x2;…,x) =Qx1,x2…,x1)-Q(x1,x2,…,x1,x;)  令(x,x2,,x)=0(,x2,,x,x)0(x,x2,x) 于是称vx,x2,…,x)为自变量x1对因变量y的方 差贡献。也就是,如果V(x,x2…x)越大,则 x;对y的影响就越大,x1对回归方程就越显重要, 应该引入。但是V(x1,x,应到什么程度,自 变量才可被引入方程呢?这就需要给出 的引入标准(或称引入门坎值)。  统计理论表明,用统计量 V(x1,x2;…,x1)/1 ~F(1,n-l Q(x1,x2,…,x,x1)/n-1- i=l+1,+2,…,m 可以检验自变量x是否可以引入方程。式中, n是样本容量,是已进入方程的自变量个数。 对于给定水平,査F分布表,可得临界 值F=F。如果F1F,则表明x可引入方程;  如果F。F,则说明自变量x;不重要,x不能引 入方程。需要说明的是,实际问题可能FF进有 多个,由于每次只能引入一个变量进入方程,因 此在算法上,我们是选最大的F1值所对应的变量 考虑引入,即,先求 maxF F k() (ism) 然后将它与F进比较,如FF进,相应的自变量 xk(入选;如F1≤F进,引入变量的步骤就到此为 止  §2.5.3剔除自变量的依据 设已有l个自变量引入回归方程,即已知回归方 程为 y=b+b1x1+b2x2+…+bx 此时该方程的总离差平方和可表示为 S总=S回+S剩=U(x,x2…,x)+Qx1,x2…,x)(2.16) 现在已有的l个自变量中剔除一个自变量,不妨 剔除;,i=1,2,…,于是可得剔除自变量x1后的 回归方程,记为 j=b+b1x1+…+b1x1+b1 b 2.17)