BP神经网络算法的改进及在Matlab中的实现.pdfVIP

№. 2 　　　　　　　　　　　　　　　 　　　　陕西科技大学学报 　　　　　　　　　　　　　　　　　　Apr . 2004 Vol . 22 　　　　　　J OU RNAL OF SHAAN XI UN IV ERSI T Y OF SCIEN CE TECHNOL O GY 　　　　　　　 ·45 · ( ) 　文章编号 :1000 - 5811 2004 02 - 0045 - 03 B P 神经网络算法的改进及在 Matlab 中的实现 陈桦 ,程云艳 ( 陕西科技大学计算机与信息工程学院 ,陕西 咸阳　7 12081) 摘 　要 :分析了B P 神经网络算法收敛速度慢的原因 ,研究了一种提高其收敛速度的方法 , 即 将动量法和批处理方法结合起来对 B P 算法进行改进 ,提高学习速度 ,并给出了算法思想 ,用 Matlab 神经网络工具箱对神经网络进行了初始化和训练 ,仿真测试结果证明该方法是可行 , 具有实用性 。 关键词 :B P 神经网络 ;Matlab 神经网络工具箱 ;动量法 ;批处理方法 中图分类号 : TP 183 　　　文献标识码 :A 0 　引言 ( ) B P 算法 Backp rop agation algorit hm 是 目前比较流行的神经网络学习算法 ,是能实现映射变换的前 馈型网络中最常用的一类网络 ,是一种典型的误差修正方法 。但标准 B P 算法存在一些缺陷 : 易形成局部 极小而得不到整体最优 ,迭代次数多 ,收敛速度慢 。前人已提出了不少改进方法 ,本文基于 Vogl 提出的 “批处理”思想 , 以及加入动量项提高训练速度的方法 ,给出了带动量的批处理梯度下降算法 ,并用 Matlab 神经网络工具箱进行了设计分析及仿真 。 1 　B P 算法的改进 1. 1 　B P 算法收敛速度慢的原因 ( 1) B P 算法中网络参数每次调节的幅度均以一个与网络误差函数或其对权值导数大小成正比的固 η 定因子 进行 。这样 ,在误差曲面较平坦处 , 由于这一偏导数值较小 , 因而权值参数的调节幅度也较小 , 以致于需要经过多次调整才能将误差函数曲面降低 ;而在误差曲面较高曲率处 ,偏导数较大 ,权值参数调 节的幅度也较大 , 以致在误差函数最小点附近发生过冲现象 ,使权值调节路径变为锯齿形 ,难以收敛到最 小点 ,导致 B P 算法收敛速度慢 。 (2) B P 算法中权值参数的调节是沿误差函数梯度下降方向进行的 ,但由于网络误差函数矩阵的严重 病态性 ,使这一梯度最速下降方向偏离面向误差曲面的最小点方向 ,从而急剧加长了权值参数到最小点的 有哪些信誉好的足球投注网站路径 , 自然大大增加了B P 算法的学习时间 ,这也造成了B P 算法收敛速度慢 〔2 〕。 1. 2 　带动量的批处理梯度下降算法 针对 B P 算法收敛速度慢的缺点 ,作者提出了带动量的批处理梯度下降的思想 , 即每一个输入样本对 网络并不立即产生作用 ,而是等到全部输入样本到齐 ,将全部误差求和累加 ,再集中修改权值一次 ,即根据 k 总误差 E = Ek 修正权值, 以提高收敛速度 。在调整权值时加入动量项, 降低网络对于误差曲面局部细 ∑ E Δ ( ) η αΔ ( ) , α 节的敏感性, 有效抑制网络限于局部极小, 此时, Wij t + 1 = + Wij t 为 动量系数 ,加入 W ij 的动量项相当于阻尼项 , 以减小学习过程的振荡趋势 ,从而改善收敛性 。下面介绍其算法 : ( 1) 初始化权值和阀值 ; (2) 给定输入 x 和 目标输出y ; ( ) 3 计算实际输出 y :