霍普菲尔德(Hopfield)讲义.ppt

霍普菲尔德（Hopfield）神经网络 1、网络结构形式 2、非线性系统状态演变的形式 3、离散型的霍普菲尔德网络（DHNN） 4、连续性的霍普菲尔德网络（CHNN） 网络结构形式 Hopfield网络是单层对称全反馈网络，根据激活函数选取的不同，可分为离散型和连续性两种 （ DHNN,CHNN）。 DHNN：作用函数为hadlim，主要用于联想记忆。 CHNN：作用函数为S型函数，主要用于优化计算。 反馈网络的结构如图2.8.1所示。 图2.8.1 Hopfield网络结构 非线性系统状态演变的形式 在Hopfield网络中，由于反馈的存在，其加权 输入和ui，i=1~n为网络状态，网络的输出为y1~yn， 则u,y的变化过程为一个非线性动力学系统。可用非线性差（微）分方程来描述。一般有如下的几种状态演变形式： （1）渐进稳定 （2）极限环 （3）混沌现象 （4）状态轨迹发散 Hopfield网络的稳定性可用能量函数进行分析。 目前，人工神经网络常利用渐进稳定点来解决 某些问题。例如，如果把系统的稳定点视为一个 记忆的话，那么从初态朝这个稳定点的演变过程 就是寻找记忆的过程。初态可以认为是给定的有 关记忆的部分信息。如果把系统的稳定点视为一 个能量函数的极小点，把能量函数视为一个优化 问题的目标函数，那么从初态朝这个稳定点的演 变过程就是一个求该优化问题的过程。这样的优 点在于它的解并不需要真的去计算，而只要构成 这种反馈网络，适当的设计其连接值和输入就可 达到目的。 离散型的 Hopfield神经网络 1、I/O关系 2、两种工作方式 3、网络的稳定性分析 4、DHNN网络设计 网络结构及I/O关系 图2.8.2是一个有三个节点的DHNN结构。 对于以符号函数为激活 函数的网络，网络的方程可 写为： 图2.8.2 两种工作方式 DHNN主要有以下两种工作方式： （1）串行工作方式 在某一时刻只有一个神经元按照上式改变状态，而其它神经元的输出不变。这一变化的神经元可以按照随机的方式或预定的顺序来选择。 （2）并行工作方式 在某一时刻有N个神经元 按照上式改变状态，而其它的神经元的输出不变。 变化的这一组神经元可以按照随机方式或某种规 则来选择。当N=n时，称为全并行方式。 DHNN的稳定工作点 Xi(t+1)= Xi(t)=sgn(∑j=1nWijXi(t)-θi ) i=1,2,…,n 网络的稳定性分析 DHNN的能量函数定义为： 关于DHNN的稳定性有如下的定理： 当网络工作在串行方式下时，若W为对称阵，且其对角元素非负，则其能量函数单调下降，网络总能收敛到一个稳定点。 全并行方式下也有同样的结论。 DHNN网络设计 用 DHNN实现联想记忆需要考虑两个重要的问题： ①怎样按记忆确定网络的W和?；②网络给定之后如何分析它的记忆容量。下面将分别讨论。 1、权值设计的方法 2、记忆容量分析 3、权值修正的其它方法 在MATLAB中，用函数newhop.m来设计一个Hopfield网络： net = newhop(T) 权值设计的方法 权值设计的方法有外积法、伪逆法、正交设计法等。下面仅介绍外积法，它是一种比较简单，在一定条件下行之有效的方法。 例 设计DHNN，并考察其联想性能。 说明所设计的网络没有准确的记忆所有期望的模式。 记忆容量分析 当网络只记忆一个稳定的模式时，该模式肯定被网络准确无误的记忆住。但当所要记忆的模式增加时，情况则发生了变化，主要表现在下列两点上： 1、权值移动 2、交叉干扰 权值移动 在网络的学习过程中，网络对权值的记忆实际上是逐个实现的。即对权值W，有程序: 当网络准确的X1时，为了记忆X2,需要在记忆样本X1 的权值上加上对样本X2的记忆项X2 X2T-I，将权值在 原来值的基础上产生了移动。这样网络有可能部分 得遗忘了以前以记忆住的模式。 ( ) end I X X W W q k for W T K K - + = = = , 1 0 从动力学的角度来看，k值较小时，网络Hebb学习规则，可以使输入学习样本成为其吸引子。随着k值的增加，不但难以使后来的样本成为网络的吸引子，而且有可能