神经网络第2章-BP神经网络.ppt

* 第2章 BP神经网络 已经发展了数十上百种神经网络模型，应用最广泛的是误差反向传播算法(Back Propagation Algorithm，简称BP算法)，相应的网络称为BP网络。 由多层处理单元组成，每层神经元个数不同，通过样本自学习建立网络输入变量和输出变量之间的非线性映射关系。 §2-1 BP神经网络基本原理 BP网络一般由输入层、隐层和输出层组成，隐层可以为一层或多层，每层上的神经元称为节点或单元。 标准BP模型由3个神经元层次组成，如图2.1所示，输入层有L个处理单元，中间的隐层有M个处理单元，输出层有N个处理单元。 标准BP模型由3个神经元层次组成，如图2.1所示，输入层有L个处理单元，中间的隐层有M个处理单元，输出层有N个处理单元。 图2.1 三层BP神经网络 BP网络误差反向传播算法的基本思想 BP网络按照感知器的工作原理进行信息处理： (2-1) 式中　 为t时刻输出， 为输入向量的一个分量， 为t时刻第i个输入的加权，θ为阈值， 为作用函数。 感知器的学习规则为 (2-2) 式中η为学习率 ，d为期望输出(又称教师信号)， 为感知器的输出。 感知器通过不断调整权重，使得 对一切样本均保持不变时，学习过程就结束。 BP网络误差反向传播算法的基本思想是： 　　根据输出层内各处理单元的正确输出与实际输出之间的误差进行连接权系数的调整，使网络的输出尽可能接近期望的输出，直到满足事先给定的允许误差，学习停止。 由于隐层的存在，输出层对产生误差的学习必须通过各层连接权值的调整进行，因此，隐层要能对输出层反传过来的误差进行学习，这是BP网络的一个主要特征。 BP网络的学习算法 考虑BP网络中某神经元j如图1.2所示，它有m个输入信号 ，每个输入通过各自的权系数 与神经元j相联系。第j神经元的综合输入量 为 图1.2 神经单元模型 (2-3) 式中 称为该神经元的门槛值或阈值。为了统一表达式，可以令 ,将上式改写成 (2-4) 第j神经元的输出 为 (2-5) 式中 为神经元j的传递函数或响应函数，是非线性可微非递减函数，对各神经元可取同一形式。 传递函数 通常有 0-1型 (2-6) 双曲正切型 (2-8) Sigmoid型 (2-7) 目前，用得较多的传递函数是Sigmoid型函数或称为S型函数。 BP网络的自学习是通过若干个已知输入和输出的样本，来调整权系数 完成的。要求对样本 ，网络输出 和样本期望输出 的差值平方和极小，即 (2-9) 现在考虑图2.2所示BP网络，用序号1~3分别表示输入层、隐层和输出层，为统一符号，规定右上角标表示层的序号，对第p样本，第 层的神经元j的输入和输出分别用 和 表示，而对应层的神经元个数为 ，对图2.2而言， 。则网络的正向运算为 现在考虑图2.2所示BP网络，用序号1~3分别表示输入层、隐层和输出层，为统一符号，规定右上角标表示层的序号，对第p样本，第 层的神经元j的输入和输出分别用 和 表示，而对应层的神经元个数为 ，对图2.2而言， 。则网络的正向运算为 图2.2 三层BP神经网络 输入层 (2-10) 隐层或输出层 式中 表示第 层的神经元 与第 层的神经元 之间的权系数。 网络第 层的神经元j的计算输出 和样本期望输出 的差值记为 (2-13) 要对网络的权系数不断进行修正，使得 小于事先给定的允许误