BP神经网络仿真报告.docVIP

BP神经网络简介 图1 BP神经网络结构图 BP(Back Propagation)神经网络是目前人工神经网络中研究最深入、应用最为广泛的一种模型，其结构如图l所示。图中，x、z是网络的输入、输出向量，每一神经元用一个节点表示，网络由输入层、隐层和输出层节点组成，隐层可以是一层，也可以是多层（图中是单隐层），前层至后层节点之间通过权系数相联结。BP 神经网络学习时，输入信号从输入层经隐层传向输出层(正向传播)，若输出层得到期望的输出，则学习算法结束：否则，转至反向传播。反向传播就是将误差信号(样本输出与网络输出之差)按原联接通路反向计算，由梯度下降法调整各层神经元的权值，使误差信号减小。以下是各层权值的具体过程（即BP学习算法）： 定义网络的输出误差 ，将其依次展开至隐层和输入层，在使误差不断减小的原则下，应使权值的调整量与误差的负梯度成正比，即： ， ， 经推导可得到各层权值调整的计算公式，写成向量的形式为： ， 式中，为输入向量，为隐层输出向量，为输出向量，为期望输出，而和分别是隐层到输出层和输入层到隐层的权值矩阵。 BP网络的学习训练过程如下： (1) 初始化网络，对网络参数及各权系数进行赋值，其中权系数应取随机数； (2) 输入训练样本，计算各层的预报值，并与真实值相比较，得出网络的输出误差；(3) 依据误差反向传播规则，调整隐层之间以及隐层与输入层之间的权系数； (4) 重复步骤（2）和（3），直至预测误差满足条件或训练次数达到规定次数。 BP网络训练完成之后，得到的权系数就是一个预测模型。当输入的样本数据是若干组分类数据时，得到的就是一个预测分类模型。 RBF神经网络简介 RBF神经网络即径向基函数(Radial Basis Function)神经网络，其结构如图2所示，它很容易扩展到多输出节点的情形，在此只考虑一个输出变量Y。RBFNN包括一个输入层、一个隐含层和个输出层的最简模式。隐含层是有一组径向基函数构成，与每个隐含层节点相关的参数向量为Ci(即中心)和(即宽度)。径向基函数有多种形式，一般取高斯函数。 (1) 上式中，m是隐含层结点数；是欧几里德范数；是第i个基函数与输出结点的连接权值(i=1,2,…，m)。 RBF神经网络是一种性能良好的前向网络。它具有最佳逼近性能，在结构上具有输出——权值线性关系，训练方法快速易行，不存在局部最优问题。该网络的学习算法有很多种，本文将带遗忘因子的梯度下降法应用于RBF神经网络的参数调整 ]。即在考虑当前时刻即k时刻的网络状态的变化时，将前一个时刻即(后一1)时刻的网络参数变化也包括进去。其具体算法如下： (2) 其中，J为误差函数，Y(k)代表希望的输出，Y(W,k)为网络的实际输出，W是网络的所有权值组成的向量。 隐层一输出层连接权值矩阵的调整算法为： (3) 隐层中心值矩阵的调整算法为： (5) 其中，为学习率，为动量因子，也称为遗忘因子，又称动量项或阻尼项。称为遗忘因子可从对于新旧信息的学习与遗忘的角度来理解；称为动量项或阻尼项，是因为在网络的学习训练中，此项相当于阻尼力，当训练误差迅速增大时．它使网络发散得越来越慢。总之，它使网络的变化趋于稳定，有利于网络的收敛。 实验仿真 给定函数 其中i=1,2,4,8 输入 1 输出的 3 层 BP 网络，隐节点取 20 个。我们假定在[-2,2]之间平均取 N个点，最大训练次数定为 20000，学习率为 0.003，目标误差为 0.5，隐层采用单极 Sigmoid 函数，输出层采用线性激活函数，初始权值和偏移取[-0.1,0.1]内的随机值。+号是模拟输入，红色曲线是标准曲线，绿色曲线是逼近曲线。 图 3.1 为 i=1 时取 100 个点的 BP 曲线 图 3.1 i=1,N=100 (2) 图 3.2 为 i=2 时取 100 个点的 BP 曲线 图 3.2 i=2,N=100 (3) 图 3.3 为 i=4 时取 100 个点的 BP 曲线 图 3.3 i=4,N=100 (4) 图 3.3 为 i=8 时取 100 个点的 BP 曲线 图 3.4 i=8,N=1000 (5)图 3.5 为 i=1 时取 100 个点的 RBF 曲线 图 3.5 i=1,N=100 (6)图 3.6 为 i=2 时取 100 个点的 RBF 曲线 图 3.6 i=2,N=100 (7)图 3.7 为 i=4 时取 100 个点的 RBF 曲线 图 3.7 i=4,N=100 (8)图 3.8 为 i=8 时取 100 个点的 RBF 曲线 图 3.8 i=8,N=100 6 z x -2 -1.