9-第九章神经网络幻灯片.pptVIP

BP算法性能评价 优点 1．通过初始权值较小化和并行的方式解决了非线性的问题； 2．通过误差反向传播以有教师的方式训练权值； 3．具有一定推广综合能力。 1．学习速度不稳定(可适当改进)； 2．对复杂非线性问题训练出来的参数容易落入局部极小值； 3．隐层节点的选取无理论指导，一般采用成长算法(删除法、添加法)尝试； 4．BP算法本身缺乏生物学借鉴； 5. 网络的学习、记忆具有不稳定性。 缺点 0〈η〈1，表示学习率。用来控制权值的修正 隐藏层误差有输出层误差确定，是反向传播过程 再得到误差之后，要对权值修正 权重的变化在很小的范围时 BP学习原理 工作信号正向传播/前向传播 误差信号反向传播/后向传播 正向传播：当给定网络一组输入模式时，BP网络将依次对这组输入模式中的每个输入模式按如下方式进行学习：把输入模式从输入层传到隐含层单元，经隐含层单元逐层处理后，产生一个输出模式传至输出层，这一过程称为正向传播。 反向传播：如果经正向传播在输出层没有得到所期望的输出模式，则转为误差反向传播过程，即把误差信号沿原连接路径返回，并通过修改各层神经元的连接权值，使误差信号为最小。 重复正向传播和反向传播过程，直至得到所期望的输出模式为止。 Output nodes Input nodes Hidden nodes Output vector Input vector: xi wij 信号正向传播 反向传播求误差 Output nodes Input nodes Hidden nodes Output vector Input vector: xi wij 通过迭代地处理一组训练样本，将每个样本的网络预测与实际指导的类标号比较，进行学习。对于每个训练样本，修改权，使得网络预测和实际类之间的均方误差最小。这种修改“后向”进行。即由输出层，经由每个隐藏层，到第一个隐藏层。一般地，权将最终收敛，学习过程停止。 向后传播: 训练的最终目的 利用训练集获得权重的集合，使得网络能够正确地将训练集分类。 步骤： 1、利用随机数初始化权重（-1.0—1.0，或-0.5—0.5） 2、将训练集样本逐一的输入到网络中 3、对于每一个样本 1）利用单元全部输入的线性组合和单元的偏置计算单元的净输入； 2）将变换函数作用于单元的净输入，得到单元输出； 3）计算误差； 4）修改权重和偏置值。 更新方法： 实例更新：每处理一个样本就更新权和偏置。 周期更新：权和偏置的增量也可以累积到变量中，使得可以在处理完训练集中的所有样本之后再更新权和偏置。 终止条件： 前一周期所有的wij的变化量都很小，小于某个指定的阈值 前一周期未正确分类的样本百分比小于某个阈值 超过预先指定的周期数 实践中，权收敛可能需要数十万个周期。 1) 初始化网络及学习参数，即将隐含层和输出层各节点的连接权值、神经元阈值赋予[－1，1]区间的一个随机数。 2) 提供训练模式，即从训练模式集合中选出一个训练模式，将其输入模式和期望输出送入网络。 3) 正向传播过程，即对给定的输入模式，从第一隐含层开始，计算网络的输出模式，并把得到的输出模式与期望模式比较，若有误差，则执行第（4）步；否则，返回第（2）步，提供下一个训练模式； 4) 反向传播过程，即从输出层反向计算到第一隐含层，逐层修正各单元的连接权值。 5)返回第（2）步，对训练模式集中的每一个训练模式重复第（2）到第（3）步，直到训练模式集中的每一个训练模式都满足期望输出为止。 BP网络的学习算法思想： 1、在BP算法学习过程中，对于每一个输入样本逐次修正权值向量，若有N个输入样本，一次学习过程将对权值向量修正N次。这种逐次不断修正权值向量的方法称为逐次修正法。 2、BP算法学习过程：确定和选择网络结构，包括确定输入层和输出层的节点数，选择隐层数和各隐层内的节点数。确定节点的转移函数、误差函数类型，并选择各个可调参数值。 X1 X2 X3 W14 W15 W24 W25 W34 W35 W46 W56 ?4 ?5 ?6 1 0 1 0.2 -0.3 0.4 0.1 -0.5 0.2 -0.3 -0.2 0.4 -0.2 -0.1 单元j 输入 net 输出o 4 0.2*1+0.4*0+(-0.5)*1-0.4=-0.7 1/(1+e-(-0.7))=0.332 5 (-0.3)*1+0.1*0+(0.2)*1-(-0.2)=0.1 1/(1+e(-0.1))=0.525 6 (-0.3)*0.332+(-0.2)*0.525-(-0.1)=-0.105 1/(1+e-(-0.105))=0.474 单元j 6 0.474*(1-0.474)*(1-0.474)=0.1311