BP神经网络综述例析.docVIP

《BP神经网络的优化算法》 综述 姓名：刘彪 学号：南京理工大学 摘 要:本文对于BP算法存在的缺陷，简介了几种BP神经网络优化算法的基本原理，并比较了这几种优化算法的优缺点，给出了它们可以应用的场合。 关键词：BP神经网络，优化算法 引言 人们常把误差反向传播算法的多层前馈网络直接称为BP网络。BP网络学习训练中采用有导师学习方式，在调整权值过程中采用梯度下降技术，使网络总误差最小。 其算法思想是：学习训练过程由正向信号传播和反向误差传播构成。正向传播时，输入样本从输入层进入，经各隐层逐层处理后，传向输出层。若输出层的实际输出与期望的输出不符，则转入误差的反向传播阶段。误差反传是将输出误差以某种形式通过隐层向输入层逐层反传，并将误差分摊给各层的所有单元，从而获得各层单元的误差信号，此误差信号作为修正各单元权值的依据。这种信号正向传播与误差反向传播的各层权值调整过程，周而复始地进行的。一直进行到网络输出的误差减少到可以接受的程度，或进行到预先设定的学习次数。 正向信号传输计算 隐层的输出、输入为 （1） 式中，为输入层第j个节点的输出；为隐层神经元j与输入层神经元i之间的连接权重；f（*）是转换函数。 输出层节点的输出、输入为 （2） 式中，为隐层节点与输出层节点之间的权重；f（*）是转换函数。 定义网络的输出误差函数为 （3） 将式（3）展开至隐层，有 （4） 进一步展开至输入层，有 （5） 反向传播计算 有文献[1]可得三层感知器的BP学习算法权值调整计算公式 （6） 其中 （7） 算法步骤 实际应用中有2种方法可以调整权值和阈值：单样本训练和成批训练。对于单样本训练，每输入一个样本，都要回传误差，并调整权值和阈值。而成批训练算法，是当所有的样本输入后，计算其总误差。然后进行权值和阈值的调整。下面是单样本训练算法步骤。 1）初始化。赋随机数给初始权值和阈值，将样本模式计数器p和训练次数计数器q置为1，误差置为0，学习率设为0-1的小数，网络训练后达到的精度Emin设为一个正的小数。 2）输入训练样本对（X,T）和。 5）计算各层误差信号，调整各层权值。用式（6）计算V、W，调整各层权值。 （8） 6) 检验是否对所有样本完成一次轮训。若pP(样本对)，计数器p，q增1，返回步骤2），否则转步骤7） 7）检验网络总误差是否达到精度要求。判断误差是否满足要求，若满足则转步骤8），否则E置0，p置1，返回步骤2）。 8）训练结束。 BP算法中存在的问题和改进措施 BP算法的计算特点是，计算公式比较简单，相应的计算机程序简短，但是在计算过程中，还有诸多问题： 1）反向传播算法的收敛速度较慢，一般需要成千上万次的迭代计算才能到目的； 2）存在函数局部极小值； 3）网络隐层神经元数目选取和连接权、阈值初值的选取一般靠经验； 4）新加入的样本会影响已经学习完的样本。 本文讨论的BP算法有两类，一类是采用启发式技术，如附加动量法、自适应学习速率法、RPROP方法等；另一类是采用数字化优化技术，如共轭梯度法、拟牛顿法、Levenberg—Marquardt方法等。 附加动量法[2] 实际应用中，学习率的选择具有重要的地位，如果过大，则可能引起不稳定；过小可以避免振荡，但是收敛的速度比较慢。解决这一矛盾是加入“动量项[3]”，即令 （9） 其中，01。式中，第二项是常规BP算法的修正量，第一项称为动量项。其作用简单分析如下： 当顺序加入训练样本时，上式可以写成以t为变量的实际序列，t由0到n，因此上式可以看成是的一阶差分方程，对求解，可得[4] （10） 当本次的与前一次同号时，其加权求和值增大。使得较大，从而在稳定调节时增加了w的调节速度；当与前一次符号相反时，说明有一定振荡，此时指数加权和结果使得减小，起到了稳定的作用。 自适应学习速率法 学习速率是影响网络收敛速度和输出结果精确度的主要因素。较大的学习速率会使迭代次数和训练时间减少，但是网络容易出现振荡现象，造成网络的不稳定；反之，较小的将增加网络的学习时间和迭代次数[5]。在传统的网络算法中，学习速率在整个学习过程中是不变的，因此选择一个合适的是至关重要的，同时也是非常困难的。 事实上，最优的是随着网络训练的进程不断变化的，理想的学习速率应该是根据误差曲线自适应调整的[6]。在误差下降曲线的平坦区，应该增加值，使得误差脱离平坦区；在下降曲线的急剧变化段，应该降低值，以免网络出现振荡现象。因此，本文在传统BP网络的基础上，采取学习率自适应调整算法。具体过程见公式（11），式中a，b是常数，可以通过多次数值模拟计算得到。网络每次迭代一次，将调整一次，而调整的根据是误差最小原则。引入学习速率自适