第10章 Windrow-Hoff学习算法09.10.2.pptVIP

第10章 Widrow-Hoff学习算法 10.1 目的： 在本章中，将会把性能学习的原理用于单层线性神 Widrow-Hoff学习算法是一个近似最速下降法，其中性能指标是均方误差。 这个算法很重要，原因有两个： 第一，它被广泛使用于现在的信号处理应用中； 第二，它是多层网络中BP算法的先驱(BP算法将在第11章中讲述)。 10.2 理论和实例 在1960年，Widrow和他的研究生Marcian Hoff引入了ADALINE (Adaptive Linear Neuron，自适应线性神经元)网络和一个称为LMS(Least Mean Square，最小均方)算法的学习规则。 他们的ADALINE网络与感知机非常相似，不同之处在于它的传输函数是线性函数而不是硬极限函数。 ADALINE和感知机均受同样的局限性的影响；它们只能解决线性可分问题。但LMS算法比感知机学习规则要强大得多。 感知机规则能保证将训练模式收敛到一个可正确分类的解上，但得到的网络对噪声敏感，因为训练模式常接近网络的判定边界。 而LMS算法使均方误差最小化，从而使网络的判定边界尽量远离训练模式。 10.2.1 ADALINE 网络 ADALINE网络如图10-1，与第4章的感知机相同的基本结构。不同点是它使用一个线性传输函数。与线性联想器相比多了偏置值。 网络输出由下式给出： 10.2.2 均方误差 学习规则将使用一个正确的行为样本的集合： 10.2.2 均方误差→相关矩阵 10.2.2 均方误差→最速下降法(9.2.1) 10.2.2 均方误差→学习速度(9.2.1) 10.2.3 LMS 算法 10.2.3 LMS 算法 学习速度举例 学习速度举例 学习速度举例 10.3 小结 ADALINE网络与感知机非常相似，不同之处在于它的传输函数是线性函数而不是硬极限函数。 ADALINE只能解决线性可分问题。 感知机规则能保证将训练模式收敛到一个可正确分类的解上，但得到的网络对噪声敏感，因为训练模式常接近网络的判定边界。 而LMS算法使均方误差最小化，从而使网络的判定边界尽量远离训练模式。 10.3 小结 10.2.2 均方误差→最速下降法(9.2.1) 10.2.3 LMS 算法 作业 作业 1、写出LMS（最小均方）算法的矩阵迭代公式与第i个神经元的迭 代公式（对所写的公式中的符号要说明其意义）。 2、说明稳定学习速度有何要求（对所写的符号要说明其意义） 3、提交实验五的实验报告。（见实验指导） * 10 最速降法： 最速降法： LMS算法 LMS算法的矩阵形式： ADALINE产生和第3章中为苹果／橘子问题设计的相同的判定边界。这个边界处于两个参考模式的中间。 感知机规则不产生这样一个边界。这是因为，尽管一些模式可能接近于边界，一旦模式被正确地分类，感知机规则便中止了。 LMS算法使均方误差最小化，因而它尽力使判定边界远离参考模式。 最速降法： LMS算法 LMS算法的矩阵形式： P=[1 1;1 2;2 -1;2 0;-1 2;-2 1;-1 -1;-2 -2] T=[-1 -1;-1 -1;-1 1;-1 1;1 -1;1 -1;1 1;1 1] net = newlind(P,T); net.IW net.IW{1,1,1,1} net.b{1,1} * 10