一种利用Gauss变异优化BP神经网络的方法.docVIP

一种利用Gauss变异优化BP神经网络的方法 　　摘 要： 为了克服传统BP算法收敛速度慢和局部极小点等问题，提出了一种改进的BP网络训练方法，将改进的BP算法和遗传算法相结合。首先引入遗传算法中群体的概念，选取最好个体中的误差作为最小误差，其次利用Gauss变异生成的两个小随机数作为BP算法中的学习率和冲量系数，实现对两个参数的动态调整，以达到对BP网络的权值优化的目的。实验结果表明，该方法有效提高了BP网络的收敛速度，在训练时间方面具有明显的优越性，具有较好的实用性。 　　关键词： BP神经网络； Gauss变异； 学习率； 冲量系数； 动态调整 　　中图分类号： TN911?34 文献标识码： A 文章编号： 1004?373X（2014）06?0012?03 　　0 引 言 　　神经网络是一个黑箱模型，它具有很强的适应能力和学习能力，在人工智能、自动控制、模式识别、信号处理、预测及评价等方面都有着越来越广泛的应用[1?3]。目前已经提出了多种训练算法和网络模型，其中应用最广泛的是前馈型神经网络。前馈型神经网络训练中使用最多的方法是误差反向传播（Back Propagation，BP）学习算法。BP算法系统地解决了多层网络中隐含神经元连接权的学习问题，使BP 网络成为应用最为广泛的一种神经网络模型。但是BP网络也有一些不足[4?5]。比如：收敛速度太慢问题、局部极小点问题、网络瘫痪问题、稳定性问题、步长问题等，极大地影响了神经网络的进一步应用。很多学者对BP 网络进行了深入研究并提出了许多改进的模型[6?9]，这些改进模型的收敛速度比标准梯度法快数十倍，但它们仍都不是普遍适用的，都有着各自的优势或缺陷。本文结合BP网络的训练过程，提出一种改进的BP网络训练方法，将Gauss变异与改进的BP算法相结合，对学习率参数和冲量系数进行动态调整，使得权值能很好的调整。避免了传统的BP 算法容易陷入局部极小的问题，同时可以提高BP 算法的训练速度，降低收敛时间。 　　1 BP神经网络 　　BP 神经网络是一种单向传播的多层前馈网络[1]，它包含输入层、中间层（隐层）和输出层，是目前应用较多的一种模型。该算法在层次型网络结构上采用误差逆传播学习方式，学习过程由正向传播和误差逆传播组成。算法的主要思想是把学习过程分为两个阶段：第一阶段是正向传播过程，输入信息从输入层经中间层逐层计算各神经元的实际输出值，每一层神经元的状态只对下一层神经元的状态产生影响；第二阶段是反向传播过程，若在输出层未能得到期望的输出值，则逐层递归计算实际输出与期望输出之间的差值，根据此误差修正前一层权值使误差信号趋向最小。它通过连续不断地在相对于误差函数斜率下降的方向上计算网络权值和偏差变化而逐渐逼近目标。每一次权值和误差的变化都与网络误差的影响成正比。 　　假设神经网络输出层有m个神经元，若输出层第j个神经元与中间层第i个神经元之间权值为[wij]，中间层第i个神经元的输出为[Oi]，阈值为[bj]，则输出层第j个神经元的输入总和为其上层各单元加权和： 　　输出实际值为： 　　若输出期望值为[yj]，则网络关于第p个样本的误差函数定义为： 　　而将网络关于整个样本集的全局误差函数定义为： 　　BP算法采用梯度下降法调整权值，每次调整的量为： 　　式中：[δj=f（netj）（yj-Oj）]；[α]为学习率，它决定每一次训练中的权值变化大小。 　　BP算法主要的优点是简单、易于实现。但是BP 算法有两个致命的缺陷：首先最大的缺陷是BP算法很可能陷入局部极小值，因为通常的误差曲面都是凸凹不平的，会有多个极值点；另一个缺陷是收敛速度慢，当采用梯度下降法时步长不容易确定，步长太长则达不到精度，甚至会发散；太小则迭代步骤增加，收敛速度慢。鉴于此，目前对BP算法的改进主要集中在两个方面：其一是避免陷入局部极小值，一旦陷入要想办法逃出；其二是改进迭代算法，加快收敛速度。 　　2 Gauss变异与改进的BP算法相结合 　　BP算法的不足在一定程度上都与每次权值修改程度大小有关。如果每次训练，权值都能向全局极小值方法进行修改，那么上述问题都能得到解决。可用遗传算法对BP算法中的学习率进行动态调整。初始时将学习率设大一些，加快算法的收敛。后期将学习率设小一些，以便可以找到全局极小值点。为了使算法的整体性能更高，采用将改进的BP算法和遗传算法相结合。 　　2.1 改进的BP算法 　　BP网络的训练过程是根据样本集对神经元之间的连接权进行调整的过程。其次，BP网络执行的是有导师训练。所以，其样本集是由形如： 　　（输入向量，理想输出向量） 　　的向量对构成的。BP网络接收样本的顺序会对训练的结果有很大的影响。它更“偏爱”较后出现的样本。如果