第7章 有监督Hebb学习.pptVIP

在最后的测试中，将对加入噪声的原型模式测试自联想网络。通过随机地改变每一原型模式的7个元素来加入噪声。测试结果如图7-6所示，这里所有的模式都被正确恢复。 7.2.5 Hebb学习的变形 基本的Hebb规则可以有许多变形。 Hebb规则的问题之一是：如果训练集中存在许多原型模式， Hebb规则会使权值矩阵元素过多。再次考虑基本规则 可以使用一个称为学习速度的正参数 （小于1）限制权值矩阵元素的增加量，即 也可以再加上一个衰弱项，使学习规则的行为像一个平滑过滤器，更加清晰地记忆最近的提供给网络输入： 其中 为小于1的正常数。如果 趋近于零，那么学习规则趋近于标准规则;如果 趋近于1，那么学习规则将很快忘记旧的输入，而记忆最近的输入模式。据此可知，这些项的引入可以避免权值矩阵无限制地增大。 如果用期望输出与实际输出之差代替式（7.44）中的期望输出，那么可以得到另一个重要学习规则： 这就是增量规则，因为它使用了期望输出与实际输出之差。又被称为Widrow –Hoff算法。增量规则调整权值以使均方误差最小，因而它与仿逆规则得到的结果相同，仿逆规则是误差平方和最小化(式(7.25))。 增量规则的优点是每输入一个模式它就能更新一次权值，而仿逆规则要等待所有输入/输出模式已知后才能计算一次权值。这种顺序的权值更新方法使得增量规则能适应变化的环境。 第7章 有监督的Hebb学习 7.1 目的 Hebb规则是最早的神经网络学习规则之一，由Donald Hebb在1949年作为大脑的一种神经元突触调整的可能机制而提出，从那以后Hebb规则就一直用于人工神经网络的训练。 本章将运用前两章提出得到线性代数的概念阐述Hebb学习的工作原理，并说明如何把Hebb规则用于训练人工神经网络。 7.2 理论和实例 Hebb假设 《The Oranization of Behavior》一书中最著名的思想就是现在称为Hebb学习的一个假设：“当细胞A的轴突到细胞B的距离近到足够刺激它，且反复地或持续地刺激B，那么在这两个细胞或一个细胞中将会发生某种增长过程或代谢反应，增加A对细胞B的刺激效果。” 这个假设提出了一种细胞及学习的物质机制。尽管Hebb从未宣称其理论具有可靠的生理学证据，但是其后的研究表明某些细胞的确表现出Hebb学习的行为。 Hebb的理论对当今的神经科学研究仍具有影响。 同历史上许多思想一样， Hebb假设也并不是全新的， Hebb本人也强调了这一点。它吸引了许多其他科学家的思想，如弗洛伊德，以及心理学家和哲学家Willian James在1890年提出的相联原理：“当两个大脑过程同活跃或立即相继活跃时，其中之一会重复地把活跃状态传播给另外一个。” 7.2.1 线性联想器 线性联想器 Hebb学习规则能用于和多种神经网络结构组合。在首次讨论Hebb学习时，将采用一种非常简单的结构。这样读者就能够集中研究学习规则而不关注与结构。这里将使用的网络被称为线性联想器。如图7-1所示 输出向量a由输入向量p根据下式决定： 或 联想存储器 线性联想器是被称为联想存储器的一种神经网络，联想存储器的任务是学习Q对标准输入/输出向量： 即是如果网络接收一个输入 ，那么它应能产生一个输出 这里 另外 ，如果输入发生了微小变化（即 ），那么网络的输出只应发生轻微的改变（即 ）。 7.2.2 Hebb规则 为了将Hebb假设用于训练线性联想器的权值矩阵，那么又如何给出Hebb假设的数学解释呢？首先，再次重述一下该假设：若一条突触两侧的两个神经元同时被激活，那么突触的强度将会增大 Hebb规则 请注意在式（7.2）中，输入 和输出 之间的连接（突触）是权值 。所以，假设意味着：如果一个正的输入 产生一个正的输出 ，那么应该增加 的值。这就是该假设的一种数学解释，即 (7.4) 这里 为第q个输入向量 的第j个元素， 为把第q个输入向量提交给网络时网络输出的第i个元素， 是一个称为学习速度的正的常数。这个等式表明：权值 的变化与突触两边的活跃函数值的乘积成比例。本章把式（7.4）简化成如下形式。 注意：这里在严格解释的基础上扩展了Hebb假设，权值的变化与突触每侧活跃值的乘积成比例。因此，权值不仅在 和 均为正时增大，而且在 和 均为负