二讲最速下降法.pptVIP

自适应信号处理 第二讲 最速下降算法 Y.J.Pang 最速下降法（method of steepest descent）是一种基于梯度的自适应方法。 最速下降法可用反馈系统来表示，滤波器的计算式一步一步迭代进行的。从该意义上讲，最速下降法是递归的。 在适当条件下，最速下降法的解收敛于维纳解而不需要求输入向量相关矩阵的逆矩阵。 使代价函数J获得最小值的充要条件是其对应的估计误差 e(n)于n时刻进入期望响应估计的每个输入样值。 2.1 最速下降法的基本思想 局部迭代下降思想 首先假设一个初始权向量 ，然后产生一系列权向量 能够使代价函数 在算法的每次迭代都是下降的，也就是满足如下表达式 最速下降法其实就是一种简单形式的迭代下降，它主要思想是沿着最速下降方向连续不断调整权向量 。最速下降方向也就是负梯度方向 梯度向量表示如下 通过以上可得最速下降算法 其中n表示迭代进程， 是步长参数，是正常数。 在从n到n+1的迭代过程中，权向量的调整量为 证明其满足迭代下降的思想 首先列出一阶泰勒展开式 趋近于无穷小 将代价函数 在 处进行一阶泰勒展开，可得 假设w为复值向量，那么梯度向量g也是复值向量。所以使用共轭转置（埃尔米特转置）因此上式可变为 从上式可以看出当 为正数时， 因此，随着n的增加，代价函数减小，当 时，代价函数趋于最小值 。 2.2 最速下降算法应用于维纳滤波器 通过比较期望响应 及其估计值，可以得到一个估计误差 即 其中 是抽头权向量 与抽头输入向量 的内积 如果抽头输入向量u(n)和期望响应d(n)是联合平稳的，则此时均方误差或者在n时刻的代价函数J(n)是抽头全向量的二次函数。 横向滤波器的代价函数为 所以展开可得 其中， 是目标函数 的方差 P =抽头输入向量 与期望响应 的互相关向量 R= 抽头输入向量 的相关矩阵 同时梯度向量可写为 因此维纳滤波中最速下降法的数学表达式为: 从另一个角度，可以将上公式看做一个反馈模型，信号流图如下 2.3 最速下降法的稳定性 影响该算法的稳定性有两个因素： （1）步长参数 （2）抽头输入向量 的相关矩阵R 首先定义n时刻的加权误差向量 其中 是抽头权向量的最优值 使用特征值分解可得 将R代入上公式可得 两边同时左乘 令v(n)的初始值为： 对于最速下降法的第k个自然模式，并初始化可以得到 为了满足最速下降法的稳定性或收敛性，对于所有k，我们可以有 因此最速下降法稳定性的充分必要条件是步长因子满足不等式 从图中可以看出，当迭代次数趋近于无穷时， 趋近于0也就是抽头加权向量 逼近最优解 由上图我们可以定义一个时间常数 使得 表示了 衰减到初始值 的 时所需要的迭代次数 初始抽头加权向量 的瞬态特性 两边同时左乘 因此第i个抽头权值的瞬态特性可以表示为 其中 是第i个抽头权值的最优值， 是第k个特征向量的第i个分量 上式表明，最速下降算法中每一个抽头权值收