人工神经网络及其应用BP神经网络.pptxVIP

第1页/共54页人工神经网络及其应用BP神经网络第2页/共54页内容安排一、内容回顾二、BP网络三、网络设计四、改进BP网络五、内容小结第3页/共54页一、内容回顾感知机自适应线性元件第4页/共54页一、内容回顾感知机感知机简介神经元模型网络结构功能解释学习和训练局限性自适应线性元件第5页/共54页一、内容回顾感知机自适应线性元件Adline简介网络结构网络学习网络训练第6页/共54页二、BP网络2.1 BP网络简介2.2 网络模型2.3 学习规则2.4 图形解释2.5 网络训练第7页/共54页2.1 BP网络简介反向传播网络(Back-Propagation Network，简称BP网络)是将W-H学习规则一般化，对非线性可微分函数进行权值训练的多层网络 权值的调整采用反向传播(Back-propagation）的学习算法它是一种多层前向反馈神经网络，其神经元的变换函数是S型函数输出量为0到1之间的连续量，它可实现从输入到输出的任意的非线性映射第8页/共54页2.1 BP网络简介BP网络主要用于下述方面函数逼近：用输入矢量和相应的输出矢量训练一个网络逼近一个函数模式识别和分类：用一个特定的输出矢量将它与输入矢量联系起来；把输入矢量以所定义的合适方式进行分类；数据压缩：减少输出矢量维数以便于传输或存储具有将强泛化性能：使网络平滑地学习函数，使网络能够合理地响应被训练以外的输入 泛化性能只对被训练的输入／输出对最大值范围内的数据有效，即网络具有内插值特性，不具有外插值性。超出最大训练值的输入必将产生大的输出误差第9页/共54页2.2 网络模型一个具有r个输入和一个隐含层的神经网络模型结构 第10页/共54页2.2 网络模型感知器和自适应线性元件的主要差别在激活函数上：前者是二值型的，后者是线性的BP网络具有一层或多层隐含层，除了在多层网络上与前面已介绍过的模型有不同外，其主要差别也表现在激活函数上。BP网络的激活函数必须是处处可微的，因此它不能采用二值型的阀值函数{0，1}或符号函数{－1，1}BP网络经常使用的是S型的对数或正切激活函数和线性函数第11页/共54页2.2 网络模型BP网络特点输入和输出是并行的模拟量网络的输入输出关系是各层连接的权因子决定，没有固定的算法权因子通过学习信号调节。学习越多，网络越聪明隐含层越多，网络输出精度越高，且个别权因子的损坏不会对网络输出产生大的影响只有当希望对网络的输出进行限制，如限制在0和1之间，那么在输出层应当包含S型激活函数在一般情况下，均是在隐含层采用S型激活函数，而输出层采用线性激活函数第12页/共54页2.2 网络模型S型函数具有非线性放大系数功能，可以把输入从负无穷大到正无穷大的信号，变换成-1到l之间输出对较大的输入信号，放大系数较小；而对较小的输入信号，放大系数则较大采用S型激活函数可以处理和逼近非线性输入/输出关系第13页/共54页2.3 学习规则BP算法属于δ算法，是一种监督式的学习算法主要思想对于q个输入学习样本：P1,P2,…,Pq，已知与其对应的输出样本为：T1,T2,…,Tq使网络输出层的误差平方和达到最小用网络的实际输出A1,A2,…,Aq, 与目标矢量T1,T2,…,Tq之间的误差修改其权值，使Am与期望的Tm,(m＝l,…,q)尽可能接近第14页/共54页2.3 学习规则BP算法是由两部分组成,信息的正向传递与误差的反向传播正向传播过程中，输入信息从输入层经隐含层逐层计算传向输出层，每一层神经元的状态只影响下一层神经元的状态如果在输出层未得到期望的输出，则计算输出层的误差变化值，然后转向反向传播，通过网络将误差信号沿原来的连接通路反传回来修改各层神经元的权值直至达到期望目标第15页/共54页2.3 学习规则假设输入为P，输入神经元有r个，隐含层内有s1个神经元，激活函数为F1，输出层内有s2个神经元，对应的激活函数为F2，输出为A，目标矢量为T第16页/共54页2.3 学习规则信息的正向传递隐含层中第i个神经元的输出输出层第k个神经元的输出定义误差函数第17页/共54页2.3 学习规则利用梯度下降法求权值变化及误差的反向传播输出层的权值变化其中同理可得第18页/共54页2.3 学习规则利用梯度下降法求权值变化及误差的反向传播隐含层权值变化其中同理可得第19页/共54页2.3 学习规则对于f1为对数S型激活函数，对于f2为线性激活函数第20页/共54页2.4 误差反向传播图形解释误差反向传播过程实际上是通过计算输出层的误差ek，然后将其与输出层激活函数的一阶导数f2’相乘来求得δki由于隐含层中没有直接给出目标矢量，所以利用输出层的δki反向传递来求出隐含层权值的变化量Δw2ki。然后计算同样通过将ei与该层激活函数的一阶导数f1’相乘，而求得δij，以此