递推最小二乘法.pptVIP

* * 本次课内容总结 递推最小二乘法带来的数据饱和问题 最小二乘估计法的缺陷 辅助变量法 渐消记忆递推最小二乘法 * * * * * 考虑系统模型： 回顾 最小二乘法辨识 * 则可写为 N维输出向量 2n+1维 参数向量 N维噪声向量 N×(2n+1)维 测量矩阵 最小二乘法： * 最小二乘估计要求残差的平方和为最小，即按照指标函数 为最小来确定估值 。求J对 的偏导数并令其等于0 可得 的最小二乘估计 J为极小值的充分条件是 即矩阵 为正定矩阵。 * * 图4.1 动态系统递推最小二乘在线辨识过程原理图 * * 令 ，则递推最小二乘算法 递推最小二乘法 * * 该递推公式有明显的物理意义： 称 为新息，表示实测值与预报值之差， 而 为新息的校正增益。 * 数据饱和现象 在实际应用中，递推最小二乘法常常会出现数据饱和现象。 所谓数据饱和现象是指随着时间的推移，采集的数据越来越多，新数据提供的信息被旧数据所淹没。 * 数据饱和现象 可见，随着递推次数的增加，P(N)将越来越小,最后可能趋于零。 因此根据上式，新的采样值对参数估计的改进，已不再起作用了。 为了克服数据饱和现象，可以用降低旧数据影响的办法来修改算法。 * 4.6 渐消记忆递推算法 渐消记忆法是对每个数据按指数加权，老的数据作用逐渐减弱。 如果再获得一对新的观测值 ， 则有 由n+N个观测数据获得 的最小二乘估计为 此时，由n+N+1个观测数据获得 的最小二乘估计为 （*） 将上面的结果带入（*）式，并展开得 又因为 ，则上式变为 令 ， 则得渐消记忆的递推最小二乘算法 渐消记忆递推最小二乘算法 渐消记忆递推最小二乘算法 其中，λ称为“遗忘因子”。选择不同的λ就得到不同的遗忘效果。 λ越小，遗忘的速度越快。 λ =1：无遗忘； λ =0：全遗忘 一般来说， λ必须选择接近于1的正数，对于线性系统，应选择0.95≤λ≤1。 限定记忆法 思路：限定每次估计都用必威体育精装版的n+N个数据，增加一个新数据就去掉一个老数据。 * * 4.7.1 最小二乘估计的特点 1） 唯一性 3）应用简单，鲁棒性好 4.7最小二乘估计的性质 2）适用范围广 * * 4.7.2 最小二乘估计的概率性质 如果ξ(k)是不相关随机序列，且均值为0。 1） 无偏性 2）一致性 4） 渐进正态性 辅助变量法、广义最小二乘法、增广矩阵法 如果ξ是均值为0且服从正态分布的白噪声向量，则最小二乘参数估计值服从正态分布。 3） 有效性 在众多无偏估计中，方差最小。 最小二乘估计法的缺陷 最小二乘估计的无偏性、一致性等概率性质，都是在ξ(k)为零均值、不相关随机序列的前提下得到的。 但实际系统中ξ(k)往往是相关的，有些系统即使外加干扰为不相关的随机序列，但在参数估计过程中，也变成相关的随机序列了。 最小二乘估计法的缺陷 系统 B(z-1)/A(z-1) + 最小二乘估计法的缺陷 可见ξ(k)是相关序列，进而得到的最小二乘参数估计不是无偏、一致估计。 因而，LS估计方法的应用受到一定限制，下面介绍在LS基础上加以改进的方法。 * 4.8 辅助变量法 现在开始讨论如何克服最小二乘法的有偏估计问题。 对于原辨识方程 （4.8.1） 当 是不相关随机序列时，最小二乘法可以得到参数向量 的一致性无偏估计。但是，在实际应用中 往往是相关随机序列。 * 式中Q是非奇异的。 假定存在着一个 的矩阵Z（与 同阶数）, 满足约束条件 （4.8.2） 用 乘以式（4.8.1）等号两边得 （4.8.3） 由上式可得 （4.8.4） * 如果取 （4.8.5） 作为 的估值，则称估值 为辅助变量估值，矩阵Z称为辅助变量矩阵，Z中的元素称为辅助变量。 从式（4.8.5）可以看到， 与最小二乘法估值 的计算公式具有相同的形式，因此计算比较简单。 根据式（4.8.1）和式（4.8.5）可得 （4.8.6