Adaline的LMS算法.docxVIP

《神经网络导论》实验报告 -Adaline的LMS算法 专 业：信息与通信工程 班 级： 5030班 学 号： 3115091011 姓 名： 王 静  《神经网络导论》 实验一 Adaline的LMS算法 一、实验目的 通过实验了解Adaline的工作原理 对比LMS的三种算法，并通过上机实验掌握具体实现方法 与采用硬限幅函数的单个神经元模型进行对比，比较其异同 二、实验原理 采用硬限幅函数的单个神经元，通过简单的学习算法，可以成功实现两类线性可分类的分类功能。但对于大多数的非线性可分类来说，则无法完成分类功能，为此我们转而采用具有线性功能函数的神经元Adaline（Adaptive Linear Element）方法。 设输入矢量X=[x1,x2,…,xN]，加权矢量W=[w1,w2,…,wN]，则神经元的输出可以通过下式来计算： I=WXT=XWT y=fI=WXT=XWT (1) 要实现Adaline的分类功能，按照最小二乘法的统计意义而言，就是要求所有样本的实际输出值与理想预期值之间的误差的均方值最小。设输入观察矢量X的期望输出是d，当权向量为W时的实际输出是y，定义ε=d-y。考虑所有可能出现样本的均方误差： Eε2=E[(d-y)2] (2) 将(1)式代入，可得： Eε2=Ed2+WRWT-2PWT (3) 其中，R?E[XTX]是输入向量的自相关矩阵，P?E[dX]是输入向量与期望输出的互相关向量。由(3)式可知必定存在最佳的加权矢量W*使均方误差达到最小，对(3)式求梯度可得： ?wEε2=2WR-2P (4) 由(4)式可解最优权向量： W*=PR-1 (5) (5)式给出了求最佳加权矢量的方法，但是需要做大量的统计计算，而且当输入矢量X的维数很大时，需要解决高阶矩阵求逆的问题，这些都是非常困难的。于是我们给出下面三种递推求解的方法。 2.1 LMS学习问题的严格递推学习算法 1. 任意设置初始权向量W(0); 2. 对于每一个时序变量k，按下式调整权向量W： Wk+1=Wk+α-?wEε2(k), k=1,2,… (6) (6)式的含义为，应该向梯度的负方向调整加权向量W(k)，只要选定合适的步幅系数α就能保证学习的收敛性。 求出(6)式中的梯度： ?w=-2Eε(k)X(k) (7) 于是(6)式变为： Wk+1=Wk+2αEε(k)X(k) (8) 用这种方法可以保证求得严格的最佳解，而且避开了矩阵求逆的困难，但学习过程中的每一步仍需完成大量的统计计算，统计计算的困难尚需解决。 2.2 LMS学习问题的随机逼近算法 将(8)是修正为如下形式： Wk+1=Wk+2αε(k)X(k) (9) 即得到随机逼近算法，与其严格递推算法的区别在于：用ε(k)X(k)代替Eε(k)X(k)，由此避免了统计计算的困难，但同时也给加权矢量的变化趋势带来了随机性。 2.3 LMS学习问题的基于统计的算法 这是一种具有一定统计特性的学习算法 假设学习进行到第k步时，可能出现的样本有P个，分别用XP(k)表示，下标p=1,2,…P表示在第k步学习过程中可能出现的不同样本编号。第p个样本的理想输出和实际输出分别用dpk和yp(k)表示。我们定义“误差平方和”J(k)如下： J(k)=1PPεP2(k) (10) 其中εpk=dpk-ypk，?wJ(k)相对于W的梯度为： ?wJ(k)=-2ppεpkXp(k) (11) 令误差朝J(k)减小的方向调整，可得如下递推算法： Wk+1=Wk+2αppεpkXp(k)] (12) 当P的数量非常大，使上式右端的求和项足以代表输入的统计特性时，(12)式与(8)式(严格递推算法)一致，当P取1时，(12)式与(9)式(随机逼近算法)一致。 三、实验内容及步骤 3.1 LMS算法