第三章前馈神经网络-课件.pptVIP

第三章 前馈神经网络 本章主要介绍最常用的两种前馈网络: BP (Back Propagation)神经网络和径向基函数神经网络，以及它的前身感知器、自适应线性单元。 3.1.1感知器模型 3.1.2感知器的功能 感知器的功能（二维） wij x1+w2j x2 – Tj = 0 wij x1 = Tj - w2j x2 x1 = (Tj -w2j x2) / wij = - ( w2j/ wij ) x2 +Tj / wij = a x2 +c wij x1+w2j x2 +w3j x3– Tj = 0 x1 = a x2 +b x3 +c 3.1.2感知器的功能 例 用感知器实现逻辑“与”功能 例 用感知器实现逻辑“或”功能 关键问题就是求 3.1.3感知器的学习 Perceptron(感知器)学习规则 3.1.3感知器的学习 感知器学习规则的训练步骤： （1）权值初始化 （2）输入样本对 （3）计算输出 （4）根据感知器学习规则调整权值 （5）返回到步骤(2)输入下一对样本，周而复始直到对所有样本，感知器的实际输出与期望输出相等。 3.1.4单层感知器的局限性 问题：能否用感知器解决如下问题？ 3.1.4单层感知器的局限性 无法解决“异或”问题 只能解决线性可分问题 3.1.5多层感知器 多层感知器的提出 单计算层感知器的局限性 只能解决线性可分问题，而大量的分类问题是线性不可分的。 解决的有效办法 在输入层与输出层之间引入隐层作为输入模式的“内部表示”，将单计算层感知器变成多（计算）层感知器。 采用非线性连续函数作为转移函数，使区域边界线的基本线素由直线变成曲线，从而使整个边界线变成连续光滑的曲线。 误差反向传播算法简称BP算法，其基本思想是最小二乘法。它采用梯度有哪些信誉好的足球投注网站技术，以期使网络的实际输出值与期望输出值的误差均方值为最小。 BP算法的学习过程由正向传播和反向传播组成。在正向传播过程中，输入信息从输入层经隐含层逐层处理，并传向输出层，每层神经元（节点）的状态只影响下一层神经元的状态。如果在输出层不能得到期望输出，则转入反向传播，将误差信号沿原来的连接通路返回，通过修改各层神经元的权值，使误差信号最小。 误差反传（BP）算法 模型的数学表达 输入向量： X=(x1,x2,…,xi,…,xn)T 隐层输出向量： Y=(y1,y2,…,yj,…,ym)T 输出层输出向量： O=(o1,o2,…,ok,…,ol)T 期望输出向量：d=(d1, d2,…,dk,…,dl)T 输入层到隐层之间的权值矩阵：V=(V1,V2,…,Vj,…,Vm) 隐层到输出层之间的权值矩阵：W=(W1,W2,…,Wk,…,Wl) 各个变量之间如何建立联系，来描述整个网络？ BP学习算法 BP学习算法 BP学习算法 BP学习算法 迭代1次后的BP网络 迭代8000次后的BP网络 迭代11050次后的BP网络 标准连接(Standard Connection) 跳跃连接（Jump Connections） Recurrent网络 误差曲面的分布－－BP算法的局限性 曲面的分布特点--------算法的局限性 (1)存在平坦区域--------误差下降缓慢，影响收敛速度 (2)存在多个极小点------易陷入局部最小点 曲面分布特点1：存在平坦区域 平坦－－误差的梯度变化小－－ 接近于零 曲面分布特点2：存在多个极小点 误差梯度为零 多数极小点都是局部极小，即使是全局极小往往也不是唯一的。 曲面分布特点2：存在多个极小点 BP算法 －－－以误差梯度下降为权值调整原则 误差曲面的这一特点 －－－使之无法辨别极小点的性质 导致的结果： 因而训练经常陷入某个局部极小点而不能自拔，从而使训练无法收敛于给定误差。 BP算法存在的问题 标准BP算法的改进 误差曲面的形状－－固有的 算法的作用是什么？ 调整权值，找到最优点 那么如何更好地调整权值？ 利用算法使得权值在更新的过程中，‘走’合适的路径，比如跳出平坦区来提高收敛速度，跳出局部最小点等等 如何操作？ 需要在进入平坦区或局部最小点时进行一些判断，通过改变某些参数来使得权值的调整更为合理。 引入动量项 标准BP算法实质上是一种简单的最速下降静态寻优算法， 在修正w(t)时，只按t时刻的负梯度方式进行修正，而没有考 虑以前积累的经验，即以前时刻的梯度方向，从而常使学 习过程发生振荡，收敛缓慢。为此提出如下改进算法： 变尺度法 标准BP学习算法采用一阶梯度法，因而收敛较慢。若采用二阶梯度法，则改善收敛性。该算法为 下面具体给出变