最小二乘法简易教程.docVIP

最小二乘法简易教程 作者：宋云 最小二乘法的基本原理 最小二乘法拟合曲线的最基本的原理，就是要做到拟合的曲线距离各散点的距离和最小，在代数上的描述表示为对应x的y值差的平方和最小。 例如曲线：，散点则误差定义为： 将曲线方程带入： 散点距离曲线的距离和最小即E最小，最优的情况下E为零。我们可以证明: 我们知道函数E必然存在极值，而对a、b的二阶偏导又都是大于零的，那么我们可以通过E对a、b一阶偏导为零来确定a与b的值： 即: 整理得：  令： 公式进一步整理为： 求解矩阵方程： 即可求得方程系数a、b。  二、一元一次方程拟合样例 拟合散点数据： i 1 2 3 x 1 2 1.5 y 1 2 1.6 拟合该曲线即求解方程组： 其中 n=3 方程组： 求得： 误差： 拟合散点数据： i 1 2 3 x 1 2 1.5 y 1 2 1.5 方程组： 求得： 误差：  三、拟合多次方程 拟合二次方程： 误差： 对系数求偏导： 整理得： 矩阵表达： 由不完全归纳法，我们可以得出，对于m次方程的拟合，最终矩阵表达为： 当然拟合m次方程的最终矩阵表达式也可以推导出来： 设m次方程为： 令： 误差： 对系数 其中： 展开： 可知矩阵表达形式确实为：