第07讲反馈网络资料.docVIP

第07讲 反馈网络 反馈网络(Recurrent Network)，又称自联想记忆网络，其目的是为了设计一个网络，储存一组平衡点，使得当给网络一组初始值时，网络通过自行运行而最终收敛到这个设计的平衡点上。 1982年，美国加州工学院物理学家霍普菲尔德(J．Hopfield)发表了一篇对人工神经网络研究颇有影响的论文。他提出了一种具有相互联接的反馈型人工神经网络模型，并将“能量函数”的概念引入到对称霍普菲尔德网络的研究中，给出了网络的稳定性判据，并用来进行约束优化问题，如TSP问题的求解，实现A／D转换等。他利用多元霍普菲尔德网络的多吸引子及其吸引域，实现了信息的联想记忆(associative memory)功能。另外霍普菲尔德网络与电子模拟线路之间存在着明显的对应关系，使得该网络易于理解且便于实现。而它所执行的运算在本质上不同于布尔代数运算，对新一代电子神经计算机具有很大的吸引力。 反馈网络能够表现出非线性动力学系统的动态特性。它所具有的主要特性为以下两点：第一、网络系统具有若干个稳定状态。当网络从某一初始状态开始运动，网络系统总可以收敛到某一个稳定的平衡状态；第二，系统稳定的平衡状态可以通过设计网络的权值而被存储到网络中。 如果将反馈网络稳定的平衡状态作为一种记忆，那么当网络由任一初始状态向稳态的转化过程，实质上是一种寻找记忆的过程。网络所具有的稳定平衡点是实现联想记忆的基础。所以对反馈网络的设计和应用必须建立在对其系统所具有的动力学特性理解的基础上，这其中包括网络的稳定性，稳定的平衡状态，以及判定其稳定的能量函数等基本概念。 针对人工神经网络的特点，若按其运行过程的信息流向来分类，则可分为两大类：前向网络和反馈网络。在前面的章节里，主要介绍了前向网络，通过许多具有简单处理能力的神经元的相互组合作用使整个网络具有复杂的非线性逼近能力。在那里，着重分析的是网络的学习规则和训练过程，并研究如何提高网络整体非线性处理能力。在本章中，我们将集中讨论反馈网络，通过网络神经元状态的变迁而最终稳定于平衡状态，得到联想存储或优化计算的结果。在这里，着重关心的是网络的稳定性问题，研究的重点是怎样得到和利用稳定的反馈网络。 反馈式网络有多种，这里主要讨论由霍普菲尔德提出的反馈网络。霍普菲尔德网络是单层对称全反馈网络，根据其激活函数的选取不同，可分为离散型的霍普菲尔德网络(Discrete Hopfield Neural Network，简称DHNN)和连续型的霍普菲尔德网络(Continuous Hopfield Neural Network，简称CHNN)。DHNN的激活函数为二值型的，其输入、输出为{0，1}的反馈网络，主要用于联想记忆。CHNN的激活函数的输入与输出之间的关系为连续可微的单调上升函数，主要用于优化计算。 霍普菲尔德网络已经成功地应用于多种场合，现在仍常有新的应用的报道。具体的应用方向主要集中在以下方面：图像处理、语声处理、信号处理、数据查询、容错计算、模式分类、模式识别等。 7．1 霍普菲尔德网络模型 反馈网络的网络结构如图7．1所示。 图7．1 反馈网络结构图 该网络为单层全反馈网络，其中的每个神经元的输出都是与其他神经元的输入相连的。所以其输入数目与输出层神经元的数目是相等的，有r＝s。 在反馈网络中，如果其激活函数f(·)是一个二值型的硬函数，如图7．2所示，即ai＝sgn(ni)，i＝l, 2, … r，则称此网络为离散型反馈网络，如果ai=f(ni)中的f(·)为一个连续单调上升的有界函数，这类网络被称为连续型反馈网络，图7．3中所示为一个具有饱和线性激活函数，它满足连续单调上升的有界函数的条件，常作为连续型的激活函数。 图7．2 DHNN中的激活函数 图7．3 CHNN中的激活函数 7．2 状态轨迹 对于一个由r个神经元组成的反馈网络，若将加权输入和n视作网络的状态，则状态矢量N=[n1, n2, …，nr]，网络的输出矢量为A＝[a1，a2…，as]T。在某一时刻t，分别用N(t)和A(t)来表示各自的矢量。在下一时刻t+1，可得到N(t+1)，而N(t+1)又引起A(t+1)的变化，这种反馈演化的过程，使状态矢量N(t)随时间发生变化。在一个r维状态空间上，可以用一条轨迹来描述状态变化情况。从初始值N(t0)出发，N(t0+Δt)→N(t0+2Δt)→…→N(t0+mΔt)，这些在空间上的点组成的确定轨迹，是演化过程中所有可能状态的集合，我们称这个状态空间为相空间。图7．4描述了一个三维相空间上三条不同的轨迹，对于DHNN，因为N(t)中每个值只可能为±1，或{0，1}，对于确定的权值wij，其轨迹是跳跃的阶梯式，如图中A所示，对于CHNN，因为f(·)是连续的，因而，其轨迹也是连续的。