BP神经网络课件.ppt

BP人工神经网络 Back-propagation Artificial Neural Networks;;主要参考书目;课程目的和基本要求 ;课程目的和基本要求;主要内容 ;? 引言;第1章??? 引言;人工神经网络的提出 ; 人工神经网络的提出;人工神经网络的提出; 人工神经网络的提出;1.1 人工神经网络的提出;人工神经网络的提出;人工神经网络的提出;人工神经网络的提出;人工神经网络的提出;人工神经网络的提出;人工神经网络的提出; 人工神经网络的提出; 人工神经网络的提出;人工神经网络的特点;人工神经网络的概念; 人工神经网络的概念;人工神经网络的概念; 人工神经网络的概念;人工神经网络的概念; 人工神经网络的概念; 人工神经网络的概念;人工神经元的基本构成 ; 激活函数(Activation Function) ;2、非线性斜面函数(Ramp Function);2、非线性斜面函数（Ramp Function）;3、阈值函数（Threshold Function）阶跃函数;3、阈值函数（Threshold Function）阶跃函数;4、S形函数 ;4、S形函数 ;课内容回顾;上次课内容回顾;简单单级网;简单单级网;单级横向反馈网;单级横向反馈网 ;多级网;层次划分 信号只被允许从较低层流向较高层。 层号确定层的高低：层号较小者，层次较低，层号较大者，层次较高。 输入层：被记作第0层。该层负责接收来自网络外部的信息;第j层：第j-1层的直接后继层（j0），它直接接受第j-1层的输出。 输出层：它是网络的最后一层，具有该网络的最大层号，负责输出网络的计算结果。 隐藏层：除输入层和输出层以外的其它各层叫隐藏层。隐藏层不直接接受外界的信号，也不直接向外界发送信号;约定 : 输出层的层号为该网络的层数：n层网络，或n级网络。 第j-1层到第j层的联接矩阵为第j层联接矩阵，输出层对应的矩阵叫输出层联接矩阵。今后，在需要的时候，一般我们用W（j）表示第j层矩阵。;多级网 层网络;多级网;循环网;循环网 ;人工神经网络的训练 ;无导师学习 ; 有导师学习 ;Delta规则 ;BP网络;一 概述 ;概述;二 基本BP算法 ;输出函数分析;网络的拓扑结构;网络的拓扑结构 ;网络的拓扑结构;2 训练过程概述 ;2 训练过程概述 ;3 误差传播分析 ;2、隐藏层权的调整 ;2、隐藏层权的调整;2、隐藏层权的调整;内容回顾;内容回顾;内容回顾;内容回顾;4 基本的BP算法 ;基本BP算法 ;基本BP算法;算法的改进 ;消除样本顺序影响的BP算法 ;4.3 对S中的每一个样本（Xp,Yp）： 4.3.1 计算出Xp对应的实际输出Op； 4.3.2 计算出Ep； 4.3.3 E=E+Ep； 4.3.4 对所有i，j根据相应式子计算?p w (L)ij； 4.3.5 对所有i，j：? w (L)ij=? w (L)ij+?p w (L)ij； 4.3.6 k=L-1； 4.3.7 while k≠0 do 4.3.7.1 对所有i,j根据相应式子计算?p w (k)ij； 4.3.7.2 对所有i,j：? w (k)ij=? w (k)ij+?p w (k)ij； 4.3.7.3 k=k-1 4.4 对所有i，j，k：w (k)ij= w (k)ij+ ?w (k)ij; 4.5 E=E/2.0 ;算法分析 ; 算法的实现 ;算法的主要实现步骤 ; 对每一个样本(X,Y)，执行的操作 ;建议 ; 算法的理论基础;用E代表EP，用（X，Y）代表（XP，YP） X=(x1，x2， ，xn) Y=(y1，y2， ，ym) 该样本对应的实际输出为 O=（o1，o2， ，om）;误差测度;最速下降法，要求E的极小点 ;而其中的 ;令;ANj为输出层神经元 ;ANj为输出层神经元;所以，;ANj为隐藏层神经元 ;ANj为隐藏层神经元;ANj为隐藏层神经元;ANj为隐藏层神经元;ANj为隐藏层神经元;几个问题的讨论 ;几个问题的讨论 ;几个问题的讨论