北京科技大学计算方法8第八章最小二乘法概论.pptVIP

北京科技大学数理学院 卫宏儒 Weihr168@;最佳平方逼近------曲线拟合的最小二乘法;最小二乘问题的存在与唯一性;一、实例讲解及正交多项式;数据表格;;　;计算下列方程组： 解得： a=0.15 , b=0.859 直线方程为：y*=0.15+0.859x ; 正交多项式是函数逼近的重要工具，在下一章讨论数值积分中也有重要应用．涉及的主要概念有权函数、带权内积和正交的概念，正交多项式及性质（见211-217页）。;四个常用的权函数 ;;;;正交多项式定义及性质：;;在上述递推关系中：;另外还有常见的四个正交多项式：;二、 问题的提出 插值法是使用插值多项式来逼近未知或复杂函数的，它 要求插值函 数与被插函数在插值节点上函数值相同 ，而在其他点上没有要求。在非 插值节点上有时函数值会相差很大 。若要求在被插函数的定义区间上， 所选近似函数都能与被插函数有较好的近似，就是最佳逼近问题。 最佳逼近是在函数空间 M中选 P(x) 满足 但由于绝对值函数不宜进行分析运算,常将上式化为 来讨论 ，于是最佳逼近问题变为最佳平方逼近问题 ,而离散的最佳平方逼 进问题就是常说的曲线拟合 它们都可用最小二乘法求解。 ;曲线拟合的最小二乘法; ?最小二乘法的求法;;?最小二乘法的几种特例;;例 题;;三、线性最小问题的存在与唯一性;2 最小二乘解的存在性与唯一性 定理 ：x* 为Ax=b 的最小二乘解充要条件 AT A X * =AT b 证明 ：充分性：若存在X* ，使 AT A X * =AT b 则对任意向量 令 x?=x* +y 有 ?? b– Ax ?? 22 = ?? b –AX*?? 22–2（y，AT（ b –AX*））+ ?? A y ?? 22 = ?? b –AX*?? 22 + ?? A y ?? 22 ? ?? b –AX*?? 22 ?X*为Ax=b的最小二乘解。 必要性： 令 ?? b –AX?? 22=?（x1，x2，?，x n）= ?（x） 则由多元函数极值的必要条件知，若X*为极值点， 则 ? ?（x） | —— | =0 ? x i |x=x* ;而?（x1，x2，?，x n）=b T b – 2Ax+（Ax）TAx ? ?（x） 由 —— =0 （i=1，2， ? n） ATAx=ATb。 ? x i ?若x*为Ax=b最小二乘解，则AT A x *=ATb。证毕 AT A x =AT b 称为最小二乘问题的 Ax=b法方程组。当A =（aij）m?n 的秩为n ，即A的列线性无关时， AT A x =AT b有唯一解。 ;四、线性模型的正规方程; n 设离散数据模型 ?（x）= ?c j ?j（x） j=0 则求解归结为 n+1元函数S的 极值问题: m n S（c0，c1，…，c n）= ? ?i [ y i ˉ? c j ?j（xi）] 2 i=0 j=0 显然S达最小值必要条件是 ? S m n — =2 ? ?i [ y iˉ ? c j ?j（xi）] ? k（x i）= 0 ? C k i=0 j=0 （k=0 ，1，…，n） 这是关于 c0，c1，…，c n 的方程组， n 改写成 ? （?j ，? k) c j =(y, ? k ) (k=0,1,2,…n)称为正规方程组 j=0 其中