BP学习算法课件.ppt

3.2 BP学习算法;1;BP网络的标准学习算法; BP网络的标准学习算法-算法思想;BP网络的标准学习算法-学习过程;BP学习的具体算法步骤;,为第n次迭代隐含层I与隐含层J之间的的权值向量。;第二步，初始化,赋给 ; 第六步，判断是否大于最大迭代次数，若大于转至第八步，若不大于，对输入样本，反向计算每层神经元的局部梯度。其中; 第七步，按下式计算权值修正量，并修正权值；n=n+1，转至第四步。;BP学习注意的问题;二、当神经元的激励函数是sigmoid函数时，应设期望值输出为相应的小数。 三、BP算法训练网络的方式：顺序方式和批处理方式。 顺序方式：临时存储空间小，训练速度快 批处理方式：精确的计算梯度向量，误差收敛条件简单，易与并行处理。;四、学习步长 的选择 过大或过小都不好，关系着权值的变化和BP的收敛速度，过大会引起振荡。通常调整 值使网络中和各神经元的学习速度相差不多。还可以通过加入“动量项”的方法。 五、局部梯度的计算，需要激励函数的导数。 通常选奇函数作为激励函数，非线性的sigmoid函数，有两种形式：逻辑函数和双曲正切函数 ;六、误差E（n）的判断 顺序方式： 批处理方式：每个训练周期的平均误差Eav其变化量在0.1%- 1%之间。 七、训练样本的输入 在第一步设置时，一般是同一类的训练样本其期望输出相同。 ;八、输入信号归一化 使所有样本的输入信号其均值接近零或与其标准方差相比比较小。归一化输入信号应注意： （1）用主向量分析法使训练样本的输入信号互不相关。 （2）归一化互不相关的输入信号，使得他们的方差基本相同，从而是不同权值的学习速度基本相同。 九、在学习过程或中可以利用out（.）的先验知识，加快学习效率。 ;BP神经网络的特点;BP神经网络学习算法的MATLAB实现 ;MATLAB中BP神经网络的重要函数和基本功能 newff() 功能 建立一个前向BP网络 格式 net = newff(PR，[S1 S2...SN1]，{TF1 TF2...TFN1}，BTF，BLF，PF) 说明 net为创建的新BP神经网络；PR为网络输入取向量取值范围的矩阵；[S1 S2…SNl]表示网络隐含层和输出层神经元的个数；{TFl TF2…TFN1}表示网络隐含层和输出层的传输函数，默认为‘tansig’；BTF表示网络的训练函数，默认为‘trainlm’；BLF表示网络的权值学习函数，默认为‘learngdm’；PF表示性能数，默认为‘mse’。 ;MATLAB中BP神经网络的重要函数和基本功能 tansig() 功能 正切sigmoid激活函数 格式 a = tansig(n) 说明 双曲正切Sigmoid函数把神经元的输入范围从(-∞，+∞)映射到(-1，1)。它是可导函数，适用于BP训练的神经元。 logsig() 功能 对数Sigmoid激活函数 格式 a = logsig(N) 说明对数Sigmoid函数把神经元的输入范围从(-∞，+∞)映射到(0，1)。它是可导函数，适用于BP训练的神经元。;Matlab中nntool的基本应用;Inputs：输入值 Targets：目标输出值 Input Delay States：输入值欲延迟时间 Networks：已建构的网络 Outputs：输出值 Errors：误差值 Layer Delay States：输出值欲延迟时间;[Help]：有关于此工具箱各个按钮的说明 [New Data...]：建立新网络所须输出入值、目标值、误差、延迟 [New Network...]：建立新网络的类型、训练函数、学习函数、隐藏层层数等 [Import...]：汇入数据与网络 [Export...]：汇出数据与网络 [Delete]：移除所选取的数据或网络;建立一个新的网络;Network Name：输入网络名称，如test。 Network Type：网络类型，如Feed-forward backprop。 Input ranges：输入的??围，如Get from input p，由下拉式选单选取。 Training function：训练函数，如TRAINLM(LM算法)。 Adaption learning function：适应性学习函数，如LEARNGDM(具动量的梯度下降法) Performance function：性能函数，如MSE(均方误差)。 Number of layers：隐藏层的层数，如 2。 Properties for：由下拉式选单选取欲进行设定的隐藏层，如Layer 1。 Number of neurons：隐藏