权函数与最小二乘法结合使用.ppt

西南交通大学 * * 西南交通大学 李裕奇 一 加权最小二乘法 二 最小二乘法与权函数的混合估计 如果回归函数是线性的,则最小二乘法是很好的估计方法 如果回归函数是非线性时,则最小二乘估计不一定是最优的估计方法 Stone提出两种解决方法: 1) 通过最小二乘法对权函数作一定的调整 2) 将回归函数分为线性与非线性两部分,分别用最小二乘法与权函数法进行估计 一 加权最小二乘法 对于型如线性回归问题: 其中 无关 利用权函数对最小二乘法作修正: 基本思想: 取权函数 无关 与 取加权残差函数为 满足 求 由求极值法知: 若记 则有正规方程 得参数a,b 的加权估计为: 注意: 常采用导数权: 若非线性回归函数为 可取权函数为 常见类型见表 (P147) 例2.1 出钢时所用的盛钢包,由于钢水对耐火材料的浸蚀,容积不断增大。现对钢包作试验，测得有关数据如下： 10.76 10.9 10.6 10.8 10.6 y 16 15 14 13 12 x 10.59 10.49 9.99 9.93 10 y 11 10 9 8 7 x 9.7 9.5 9.58 8.2 6.42 y 6 5 4 3 2 x 试求出使用次数x与增大容积y之间的关系。 散点图为： 根据散点图选择倒指数曲线 型如 其中 取权 计算步骤： 1）由(x,y)数据计算新数据(X,Y); 2) 由正规方程求出参数的估计; 3) 将所得参数估计回代即得原模型参数的估计 4) 还原回归模型 本题为 最小二乘法与权函数的 混合估计 基本思想: 1) 设回归函数为 2)对线性部分利用最小二乘法求a,b的估计 3) 再用所余残差估计模型中非线性部分 注意: 此估计中的权的选取一如上一节 所示 可以证明此混合估计依概率收敛: 4) 得回归模型的估计为 * * *