BP算法及其优缺点.pptVIP

标准的BP算法内在的缺陷： ⑴ 易形成局部极小而得不到全局最优； ⑵ 训练次数多使得学习效率低，收敛速度慢； ⑶ 隐节点的选取缺乏理论指导； ⑷ 训练时学习新样本有遗忘旧样本的趋势。 针对上述问题，国内外已提出不少有效的改进算法，下面仅介绍其中3种较常用的方法。 标准BP算法的改进 改进1 ：增加动量项 改进2：自适应调节学习率 改进3： 引入陡度因子 改进1 ：增加动量项 提出的原因： 标准BP算法只按t时刻误差的梯度降方向调整，而没有考虑t时刻以前的梯度方向 －－－从而常使训练过程发生振荡，收敛缓慢。 方法： α为动量系数，一般有α∈(0，1) 改进1 ：增加动量项 实质： 从前一次权值调整量中取出一部分迭加到本次权值调整量中 作用： 动量项反映了以前积累的调整经验，对于t时刻的调整起阻尼作用。 当误差曲面出现骤然起伏时，可减小振荡趋势，提高训练速度。 改进2：自适应调节学习率 提出的原因： 标准BP算法中，学习率η也称为步长，确定一个从始至终都合适的最佳学习率很难。 平坦区域内，η太小会使训练次数增加； 在误差变化剧烈的区域，η太大会因调整量过大而跨过较窄的“坑凹”处，使训练出现振荡，反而使迭代次数增加。 改进2：自适应调节学习率 基本思想： 自适应改变学习率，使其根据环境变化增大或减小。 基本方法： 设一初始学习率，若经过一批次权值调整后使总误差↑，则本次调整无效，且?=β?(β1 )； 若经过一批次权值调整后使总误差↓，则本次调整有效，且?=θ? (θ1 )。 改进3： 引入陡度因子 提出的原因： 误差曲面上存在着平坦区域。 权值调整进入平坦区的原因是神经元输出进入了转移函数的饱和区。 基本思想： 如果在调整进入平坦区后，设法压缩神经元的净输入，使其输出退出转移函数的不饱和区，就可以改变误差函数的形状，从而使调整脱离平坦区。 改进3： 引入陡度因子 基本方法： 在原转移函数中引入一个陡度因子λ 当发现ΔE接近零而d-o仍较大时，可判断已进入平坦区，此时令λ1； 当退出平坦区后，再令λ=1。 改进3： 引入陡度因子 作用分析： λ1 ：net坐标压缩了λ倍，神经元的转移函数曲线的敏感区段变长，从而可使绝对值较大的net退出饱和值。 λ=1：转移函数恢复原状，对绝对值较小的net具有较高的灵敏度。 应用结果表明该方法对于提高BP算法的收敛速度十分有效。 总结 基于BP算法的多层前馈网络模型 BP算法的实现 基本思想 推导过程 程序实现 BP学习算法的功能 BP学习算法的局限性 BP学习算法的改进 * * * * BP算法 －－误差反传（Error Back Propagation） 基于BP算法的多层感知器的模型 三层BP网络 输入层 隐层 输出层 模型的数学表达 输入向量： X=(x1,x2,…,xi,…,xn)T 隐层输出向量： Y=(y1,y2,…,yj,…,ym)T 输出层输出向量： O=(o1,o2,…,ok,…,ol)T 期望输出向量：d=(d1, d2,…,dk,…,dl)T 输入层到隐层之间的权值矩阵：V=(V1,V2,…,Vj,…,Vm) 隐层到输出层之间的权值矩阵：W=(W1,W2,…,Wk,…,Wl) 各个变量之间如何建立联系，来描述整个网络？ 神经网络的学习 学习的过程： 神经网络在外界输入样本的刺激下不断改变网络的连接权值乃至拓扑结构，以使网络的输出不断地接近期望的输出。 学习的本质： 对可变权值的动态调整 学习规则： 权值调整规则，即在学习过程中网络中各神经元的连接权变化所依据的一定的调整规则。 BP算法是一种学习规则 BP算法的基本思想 学习的类型：有导师学习 核心思想： 将输出误差以某种形式通过隐层向输入层逐层反传 学习的过程： 信号的正向传播 误差的反向传播 将误差分摊给各层的所有单元－－－各层单元的误差信号 修正各单元权值 BP算法的学习过程 正向传播： 输入样本－－－输入层－－－各隐层－－－输出层 判断是否转入反向传播阶段： 若输出层的实际输出与期望的输出（教师信号）不符 误差反传 误差以某种形式在各层表示－－－－修正各层单元的权值 网络输出的误差减少到可接受的程度 进行到预先设定的学习次数为止 建立权值变化量与误差之间的关系 输出层与隐层之间的连接权值调整 隐层和输入层之间的连接权值调整 j=0,1,2,…,m; k=1,2,…,l (3.4.9a) i=0,1,2,…,n; j=1,2,…,m (3.4.9b) 式中负号表示梯度下降，常数η∈(0,1)表示比例系数，反映了训练速率。可以看出BP算法属于δ学习规则类，这类算法常被称为误差的梯度下降(Gradient