基于变步长共扼梯度的快速BP算法.pdfVIP

1996年 12月 ．． 。+ ．要 -一~／ 第20卷第12期25 基于变步长共扼梯度的快速 BP算法’ 童—兰 陈德树 7 73 (华 中理工大学 电力系 ·430074 ·武汉) ‘。【摘 要】 提 出了一种适用于神经网络控制嚣在践学习的BP算法 ，它用共扼梯度 因子 确定学习的方 向，通过奖惩系数 y调整学习步长 ，从 而具有高速收敛性 、快速跟踪能 力厦较强的鲁棒性。最后通过一个 4层前馈NN 网络对标准控制序列进行学习仿真，证 实 了该算法的优越性 。 f ． ， 【关键词】 多层神经网络 ．共扼梯度 奖惩系数 变步长4t-扼BP算法 力 ／ r————一 ／．’—一 ／ ●一 ，·… … 。 ／ 1 引言 8O年代以后 ，神经 网络取得丁突破性进展 ，已被成功地应用于模式识别、信号处理 、组合优 化等领域 ，目前已引起丁控制领域的广泛重视 。然而，这种控制型神经网络对其学习算法的学习 速度和学 习精度都提出 了更高 的要求 。多层神经 网络 (MPL)是最流行的神经网络 之一 ，但在许多 情况下 ，广泛使用的BP学习算法 的收敛速度和学习精度并不十分理想 。为 了解决这一 问题 ，人们 提 出了基于常规BP算法 的改进 型算法0 及基于改进 MPL网络 的算法 ，虽然提高了收敛速度 ， 但前者主要通过改进 目标 函数 ，或利用动态规划法 ，因而需计算 目标 函数 的二阶或更高阶导数 ，后 者则需增加可调整连接权 的数 目。因此 ，这些算法 的计算公式复杂 ，单敬循环耗时较长，使网络 的学习速度并未能很好地满足控制领域 的要求 。 本文通过深入分析BP算法的设计过程，提出变步长共扼BP算法。它用共扼梯度代替常规的 梯度来决定学习方向，通过奖惩系数调整学习步长。仿真表 明，该算法不仅具有快速收敛性能与 快速跟踪 能力 ，而且公式简单 、鲁棒性好 ，能较好她满足神经 网络控制 的要求 。 2 常规BP算法 BP算法是 一种 误差反 向传播学 习算法 。 自1986年 由Rumdhart 和 MeC1elland提 出以来 ，已被成功地应用于 MPL网络的学习算法 。 圈1 Mn一啊培 它 的学习过程分两步 ：第一步 ，对于给定的网络输入 ，通过现有连接 n 1 Ml|l山 冒 唧椰 权将萁正 向传播 ，经各个神经元节 点的传递函数作用后 ，获得其实际 输出{第二步，先计算出输出层各神经元的计算误差，这些误差逐层 向输八层方向传播，以获得 各层神经元 的计算误差 ，从而调整相应的连接权 。重复这样的过程 ，直到实际输出与样本集之问 的误差达到允许值 ：。 对 图 1所示 的MPL网络 ，设任 一神经元 的输 入为 墨，输 出为 ，则有 · 1995一10--04收稿 。 黄 健 +男 +1970年生 ，博士研究生 ，主要研究计算机 网络、模糊神经 网络原理及其在 电力系统 中的应用 。 涂光瑜 ，男 ，1941年生 ，戤教授 ，主要从事 电力系统控制 、直漉输 电仿真控制、电力系统动态模拟研究 陈德树 ，男，1930年生 ，教授 ，博士生导师+中国电机工程学会常务理事 ，IEEE高级会员； 26 -学术论文与应用研究 - 黄 健等 基于变步长共扼梯度的快速BP算法 ∑叫 (1)