系统辨识课件si.pptxVIP

第七章 系统辨识的现代方法第一节 随机逼近法第二节 最大似然法第三节 预报误差法第四节 贝叶斯方法前面介绍的最小二乘法也属于现代系统辨识方法。随着现代控制理论、优化理论以及计算机技术的发展，提出各种新的系统辨识方法。第一节 随机逼近法Stochastic Approximation Method，简称SA随机逼近法是根据含有噪声观测数据，将确定性的梯度法应用于随机性问题，使得参数估计值都是观测量的递推线性函数。一、确定性过程的梯度法求解单变量非线性代数方程：假设f(x)是已知函数，单调且有唯一解。可采用经典的数值计算方法，如最速下降法参数估计值递推格式对于多变量方程，道理相同 问题:这种方法能不能推广应用于随机环境下? 二、Robbins-Monro方法求解随机方程参数估计值递推格式随机环境下，在计算时会引入噪声，{xk}是一个随机序列，能收敛到真值x0吗？能否收敛的条件取决于增益序列KKRobbins和Monro于1951年提出： 如果增益序列KK满足 保证收敛速度不太快 保证收敛速度不太慢 则{xK}均方收敛到真值x0，即附：类比于一个简单的例 y(k)为测量数据，z为真值。 z的估计为 写成递推形式 修正序列具有以下特点 三、应用于线性系统下面根据?(k)的类型(白噪声和有色噪声)分别讨论。1. ?(k)是白噪声最小二乘准则最小方差准则 对于具有各态遍历性的平稳随机过程，当N→∞时，最小二乘准则与最小方差准则是等价的。 参数的估计问题就变成了求方程f (? )=0的根的问题 则 得 2. ?(k)是有色噪声可以算出 说明?(k)是n步相关噪声定义 n步相关噪声 ，即相关延迟大于 n以后，就成为不相关的了。所以，可对R-M法公式进行改进，也就是，递推间隔改为 n+1步，即每采集n+1组数据后再进行递推，则有 ：下面分析一下，这个估计是否具有无偏性。在这里用到的准则是最小方差准则： 对于具有各态遍历性的平稳随机过程，当N→∞时，最小二乘准则与最小方差准则是等价的。因此，所得的估计值也就是最小二乘估计： 因为可见，上述递推公式的估计不是无偏估计。因此需做出修正，以消除误差，在每一步递推时，减去上面的偏差，故有(向良节夫，1983)计算量少，简单，无偏一致性；但收敛慢，需知噪声的方差。随机逼近法可用于解决观测量关于参数非线性的问题，虽然收敛速度较慢，但其算法计算简便，有利于计算机求解，具有较大的实用价值。第二节 最大似然法Maximum Likelihood Method，简称ML最大似然法是根据概率的方法导出由观测数据来确定参数的一般方法。最大似然法采用的是最大似然函数准则。也就是说，先构造一个似然函数，再对这个似然函数求最大。一般公认，最大似然法的奠基人是著名的统计学家R．A．Fisher，他在1912年提出了最大似然法，并将最大似然法作为一种普通的参数估计方法。最大似然法更直接地体现了高斯的观点——对待估参数的最适宜的值是最可能的值。一、最大似然法的基本原理最大似然法的根据：参数最可能的值是使随机变量取现实值的条件概率密度函数为最大的参数值。在参数条件下X的条件概率密度函数。当现实值确定时，将这个函数看做未知参数的函数，叫做似然函数。一般记作： 问题就变为求似然函数的最大值，即：二、最大似然法——独立观测情况问题：已知随机变量X的N个观测值 且已知这个随机变量符合正态分布，试确定其分布律中的参数 方法：将观测值看作是N个独立同分布的随机变量 的一次试验取值 N维联合概率密度函数： 因独立同分布 问题：已知观测数据，求 X取现实值的可能性最大 三、应用于线性系统1．当模型为 数据方程 是白噪声，正态分布 下面求输出的概率密度函数 Jacobi行列式 由概率密度变换公式 似然函数 当噪声是正态分布时，似然函数最大化等价于最小二乘准则。 2．当模型为 ?(k)是白噪声，且是正态分布 也是零均值正态分布，但不是白噪声 R中包含要辨识的噪声模型的参数C，无法得到估计参数的显式解，而只能采用迭代解法。作如下处理可按上面第1种模型的方法直接利用最大似然法求解。如果噪声服从正态分布，则最大似然估计就是最小二乘估计。 下面直接给出最大似然法的递推算法公式：第三节 预报误差法Prediction Error Method，简称PE最大似然法要求输出量的条件概率分布是已知的，通常假设它们是服从高斯分布的。然而，实际问题不一定都能满足这一假设。预报误差法不要求关于概率分布的先验知识。预报误差法是解决更加一般问题的一种辨识方法。一、预报误差准则 噪声项输出预报预报误差表示成 预报误差法就是利用各控制量和全部过去的输出值决定当前时刻k的预报值，并使得预报误差为最小。 预报误差的协方差为 预报误差准则有两种： 其中W是正定阵 当W=I时，等价于LS；