[数学]曲线拟合的最小二乘法.pptVIP

数据表格 ?最小二乘拟合函数的求法 ?最小二乘拟合函数的求法 ?最小二乘拟合函数的求法 ?最小二乘法的两种特例 例 题 二 线性最小问题的存在与唯一 在科学实验中，很多情况数据间存在线性或可转化为线性的关系。线性最小二乘是最基本也是最重要的一种。 1 线性最小二乘问题与线性最小二乘求解 设 Ax=b 其中 A?R m?n，b?R m，x ? R n 当m?n 时，上方程超定方程组 令 r =b-Ax ， 一般，超定方程无通常意义下解， 既无x使 r=0。对这类方程求解意义是求x，使 ? ? r? ?22 = ? ? b-Ax ? ? 22 为最小， 称x为Ax=b的最小二乘解。 原始数据的折线图 plot(x,y,’*’,x,y) 分段线性插值 第一段的二次拟合曲线 第二段的二次拟合曲线 第三段的二次拟合曲线 能不能作三次拟合? 注： 线性方程组的最小二乘解 (P109 18) 设 AX=b 其中 A?R m?n，b?R m，X ? R n 当m?n 时，上述方程为超定方程(组) 一般，超定方程无通常意义下解， 令 r =b-AX ，既无X使 r=0。 求这类方程求解, 就是求X, 使得： ? ? r? ?22 = ? ? b-AX ? ? 22 为最小. 满足此条件的X称为方程组AX=b的最小二乘解. 对给定的一组数据(xi,yi) (i=1,2,...,n) 其中φ0(x), φ1(x),..., φm(x)为已知的一组线性无关的基函数，求系数a0， a1，…， am，使得误差平方和 达到最小。 将P(xi)代入上式，得： 设拟合函数P(x)的形式为 P(x)=a0φ0(x)+a1φ1(x)+...+amφm(x) (mn) 即求系数a0， a1，…， am使得F(a0 , a1 ,…, am)最小 若（a0*,a1*,...,am*)使得F(a0 , a1 ,…, am)最小，即 则相应的函数 P(x)=a0*φ0(x)+a1*φ1(x)+...+am*φm(x) (mn) 称为最小二乘拟合函数 则 P(x)=a0*+a1*x+...+am*xm (mn) 称P(x)为m次最小二乘拟合多项式。 特别地，若φi(x)=xi 使误差平方和||δ||22取最小值问题可转为求上述多元函数的极小值点（a0*,a1*,...,am*)，故上式两边对ak求偏导数，并令 （*） 求系数a0， a1，…， am使得F(a0 , a1 ,…, am)最小 得： 记： （*）式即为： 改写为矩阵乘积形式为： 正规方程 (φj, φk)是向量的内积 这是关于a0,a1,...,am的线性方程组，也称为正规方程组。 由于φ0，φ1，...，φm线性无关，故上述方程组的系数行列式不为零，因此方程组有唯一解（a0*,a1*,...,am*)。代入后，得： P(x)=a0*φ0(x)+a1*φ1(x)+...+am*φm(x) 即为所求曲线方程。 系数矩阵为： 常数项为 基的度量矩阵 1、作为曲线拟合的一种常见情况，拟合函数是代数多项式，即拟合函数为：P (x)=a0+a1x+a2x2+...+amxm 相应的基函数为: φ0(x)=1, φ1(x)=x, φ2 (x) =x2,..., φm(x) =xm φ0(x1)=1, φ0(x2)=1, φ0 (x3) =1,..., φ0(xn) =1， φ1(x1)=x1, φ1(x2)= x2, φ1 (x3) = x3,..., φ1(xn) = xn ， φ2(x1)=x12, φ2(x2)= x22, φ2 (x3) = x32,..., φ2(xn) = xn 2， ............... φm(x1)=x1m, φm(x2)= x2m, φm (x3) = x3m,..., φm(xn) = xn m 记：φ0= (1, 1, 1,..., 1）， φ1= (x1, x2, x3,..., xn ）， φ2= ( x12, x22, x32,..., xn 2)， ............... φm= ( x1m, x2m, x3m,..., xn m ) 故系数矩阵为： (φ0, φ0)=n (φ