BP神经网络算法步骤.doc

传统的BP算法简述 　　BP算法是一种有监督式的学习算法，其主要思想是：输入学习样本，使用反向传播算法对网络的权值和偏差进行反复的调整训练，使输出的向量与期望向量尽可能地接近，当网络输出层的误差平方和小于指定的误差时训练完成，保存网络的权值和偏差。具体步骤如下： 　　（1）初始化，随机给定各连接权[w],[v]及阀值θi，rt。 　　（2）由给定的输入输出模式对计算隐层、输出层各单元输出 　　（3）计算新的连接权及阀值，计算公式如下： 　　（4）选取下一个输入模式对返回第2步反复训练直到网络设输出误差达到要求结束训练。 第三步，计算隐含层各神经元的输入和输出 第四步，利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏导数 第五步，利用隐含层到输出层的连接权值、输出层的和隐含层的输出计算误差函数对隐含层各神经元的偏导数 第六步，利用输出层各神经元的和隐含层各神经元的输出来修正连接权值 第七步，利用隐含层各神经元的和输入层各神经元的输入修正连接权。 第八步，计算全局误差 第九步，判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的最大次数，则结束算法。否则，选取下一个学习样本及对应的期望输出，返回到第三步，进入下一轮学习。 第二种方法： BP（Back Propagation）网络是1986年由Rumelhart和McCelland为首的科学家小组提出，是一种按误差逆传播算法训练的多层前馈网络，是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入-输出模式映射关系，而无需事前揭示描述这种映射关系的数学方程。 一个神经网络的结构示意图如下所示。 BP神经网络模型拓扑结构包括输入层（input）、隐层(hide layer)和输出层(output layer)。输入层神经元的个数由样本属性的维度决定，输出层神经元的个数由样本分类个数决定。隐藏层的层数和每层的神经元个数由用户指定。每一层包含若干个神经元，每个神经元包含一个而阈值，用来改变神经元的活性。网络中的弧线表示前一层神经元和后一层神经元之间的权值。每个神经元都有输入和输出。输入层的输入和输出都是训练样本的属性值。 对于隐藏层和输出层的输入 其中，是由上一层的单元i到单元j的连接的权；是上一层的单元i的输出；而是单元j的阈值。 神经网络中神经元的输出是经由赋活函数计算得到的。该函数用符号表现单元代表的神经元活性。赋活函数一般使用simoid函数（或者logistic函数）。神经元的输出为： 除此之外，神经网络中有一个学习率（l）的概念，通常取0和1之间的值，并有助于找到全局最小。如果学习率太小，学习将进行得很慢。如果学习率太大，可能出现在不适当的解之间摆动。 交代清楚了神经网络中基本要素，我们来看一下BP算法的学习过程： BPTrain(){ ????? 初始化network的权和阈值。 ????? while 终止条件不满足 { ??????????? for samples中的每个训练样本X { ??????????? // 向前传播输入 ??????????? for 隐藏或输出层每个单元j { ????????????????? ；// 相对于前一层i，计算单元j的净输入 ；// 计算单元j的输出 ??????????? } ??????????? // 后向传播误差 ??????????? for 输出层每个单元j { ????????????????? ；// 计算误差 ??????????? } ??????????? for 由最后一个到第一个隐藏层，对于隐藏层每个单元j { ?????????????????? ；// k是j的下一层中的神经元 ??????????? } ??????????? for network中每个权 { ??????????????????? ； // 权增值 ??????????????????? ； // 权更新 ???????????? } ???????????? for network中每个偏差 { ????????????????????? ； // 偏差增值 ????????????????????? ；// 偏差更新 ???????????? } ????? } } 算法基本流程就是： 1、初始化网络权值和神经元的阈值（最简单的办法就是随机初始化） 2、前向传播：按照公式一层一层的计算隐层神经元和输出层神经元的输入和输出。 3、后向传播：根据公式修正权值和阈值 直到满足终止条件。 算法中还有几点是需要说明的： 1、关于，是神经元的误差。 对于输出层神经元，其中，是单元j的实际输 出，而是j基于给定训练样本的已知类标号的真正输出。 对于隐藏层神经元，其中，是由下一较高