[工学]6人工神经网络导论第6章.ppt

第六章 BP网络 罗斯布莱特的感知机学习规则和伯纳德和玛西娅的 LMS 算法是设计用来训练单层的类似感知器的网络的。如前面几章所述,这些单层网络的缺点是只能解线性可分的分类问题。罗斯布莱特和伯纳德均意识到这些限制并且都提出了克服此类问题的方法：多层网络。但他们未将这类算法推广到用来训练功能更强的网络。 保罗在他1974 年博士的论文中第一次描述了训练多层神经网络的一个算法[werbo74 ],论文中的算法是在一般网络的情况中描述的,而将神经网络作为一个特例。论文没有在神经网络研究圈子内传播。 直到20 世纪80 年代中期,反向传播算法才重新被发现并广泛地宣扬,这个算法因被包括在《并行分布式处理》(Parallel Distributed Processing)[RuMc86]一书中而得到普及,才使之成为迄今为止最著名的多层网络学习算法—BP 算法,由此算法训练的神经网络,称之为BP 神经网络。 BP 网络广泛应用于函数逼近、模式识别 ／分类、数据压缩等,80% -90%的人工神经 网络模型是采用BP网络或它的变化形式,它也 是前馈网络的核心部分,体现了人工神经网络 最精彩的部分。 6.1 BP神经元及BP网络模型 BP神经元模型如图6.1 所示。 图6.1 BP 神经元的一般模型 BP神经元与其他神经元类似,不同的是BP 神经元的传输函数为非线性函数,最常用的函 数是 和 函数,其输出为： BP网络一般为多层神经网络。由BP神经元构成的二层网络如图6.2所示,BP网络的信息从输入层流向输出层,因此是一种多层前馈神经网络。 如果多层BP 网络的输出层采用S 形传输函数(如logsig),其输出值将会限制在较小的范围内(0,l);而来用线性传输函数则可以取任意值。 图6.2 两层BP 神经网络模型 6.2 BP网络的学习 在确定了BP网络的结构后,要通过输入和输出样本集对网络进行训练,亦即对网络的阈值和权值进行学习和修正,以使网络实现给定的输入/输出映射关系。 BP 网络的学习过程分为两个阶段： 第一个阶段是输入已知学习样本,通过设 置的网络结构和前一次迭代的权值和阈值,从 网络的第一层向后计算各神经元的输出。 第二个阶段是对权值和阈值进行修改,从 最后一层向前计算各权值和阈值对总误差的 影响(梯度),据此对各权值和阈值进行修改。 以上两个过程反复交替,直到达到收敛为 止。由于误差逐层往回传递,以修正层与层间 的权值和阈值,所以称该算法为误差反向专播 (back propagation)算法,这种误差反传学习算 法可以推广到有若干个中间层的多层网络,因 此该多层网络常称之为BP 网络。 标准的BP 算法也是一种梯度下降学习算 法,其权值的修正是沿着误差性能函数梯度的 反方向进行的。针对标准BP 算法存在的一些 不足,出现了几种基于标准BP算法的改进算法 ,如变梯度算法、牛顿算法等。 6.3理论与实例 多层感知机 我们在图中重新画出一个三层感知机的 图。注意三个感知机网络只是简单地连接一 起。第一个网络的输出是第二个网络的输入, 第二个网络的输出是第三个网络输入。每一 层可以有不同数目的神经元,甚至传输函数也 可以不同。在第二章中我们用上标来表示层 号。因而,第一层的权值矩阵写作 ,第二层 的权值矩阵写作 。 为了表示多层网络的结构,有时我们使用 下面的速记符号,其中在输入的数目后面跟着 每一层的神经元数目： 图6－7 三层网络 现来看这些多层感知器网络的能力,首先 看多层网络在模式分类中的使用,然后讨论在 函数逼近中的应用。 1 . 模式分类 要说明多层感知机用于模式分类的能力, 考虑经典的异或(XOR )问题。异或的输入/目 标输出对为