离散Hopfiel络用于联想去噪.docVIP

离散Hopfield网络用于联想去噪 报告人：朱林 鲁琦 董诚 摘要： 本文将介绍Hopfield神经网络(HNN)的产生、、Hopfield神经网络是美国物理学家J.J.Hopfield于1982年首先提出的。它主要用于模拟生物神经网络的记忆机理。 Hopfield神经网络有离散型（DHNN）和连续型（CHNN）两种。 Hopfield神经网络状态的演变过程是一个非线性动力学系统，可以用一组非线性差分方程（对DHNN）或微分方程（CHNN）来描述。系统的稳定性可用所谓的“能量函数”（即李雅普诺夫或哈密顿函数）进行分析。在满足一定的条件下，某种“能量函数”的能量在网络运行过程中不断地减少，最后趋于稳定的平衡状态。 对于一个非线性 动力学系统，系统的状态从某一初值出发经过演变后可能有如下几种结果：① 渐进稳定点（吸引子）；② 极限环；③ 混沌；④ 状态发散。 因为人工神经网络的变换函数是一个有界函数，故系统的状态不会产生发散现象。目前，人工神经网络常利用渐进稳定点来解决某些问题。例如，如果把一个稳定点视为一个记忆的话，那么从初态朝这个稳定点的演变过程就是寻找该记忆的过程。如果把系统的稳定点视为一个能量函数的极小点，而把能量函数视为一个优化问题的目标函数，那么从初态朝这个稳定点的演变过程就是一个求解该优化问题的过程。由此可见，Hopfield网络的演变过程是一种计算机联想记忆或求解优化问题的过程。实际上它的解并不需要真的去计算，而只要构成这种反馈神经网络，适当地设计其连接权和输入就可以达到这个目的。 （二）离散型Hopfield神经网络 （1）网络结构 DHNN是一种单层地、输入输出为二值的反馈网络，它主要用于联想记忆。DHNN的结构如图1所示。图中定义X=[?1,??2，????n]为网络的状态矢量，其分量是n个神经元的输出，仅取＋1或－1二值。θ=[θ1，θ2，…，θn]为网络的阈值矢量。W=[]nxn为网络的连接权矩阵，其元素表示第i个神经元到第j个神经元的连接权，它为对称矩阵，即=,若=0,则称其网络为无自反馈的，否则，称其为有自反馈的。 DHNN网络的计算公式如下： …………(A) …………(B) 式中sgn(x)为符号函数 （图一） （2）工作方式 DHNN主要有以下两种工作方式： 串行工作方式：在某一时刻只有一个神经元按照式（A）和式（B）改变状态 而其余神经元的输出保持不变。这一变化的神经元可以按照随机方式或预定的顺序来选择。例如，若选到的神经元为第i个，则有 2) 并行工作方式：在某一时刻有N（1N≤n）个神经元按照式(A)和式(B)改变状态,而其余神经元的输出保持不变.变化的这一组神经元可以按照随机方式或某种规则来选择.当N=n时,称为全并行方式,即在某一时刻所有的神经元都按式(A)和式(B)改变状态,即 若神经网络从某一状态X(0)开始,经过有限时间t后,它的状态不再发生改变,这就是DHNN的稳定状态(吸引子)。用数学公式表示为 ………(C) （3）DHNN联想记忆的设计及其记忆容量 在满足一定的条件下，DHNN必收敛到一个稳定点（吸引子）。初态所处区域称为吸引域。如果将网络所有的稳定点看作记忆模式集合，而将初态看作一个提示模式（即发生某些变形或含有噪声的记忆模式），那么网络的收敛过程就可以看作回忆过程。人们希望在一个提示模式下网络能回忆出一个记忆模式。DHNN稳定点的个数是记忆网络的一种测度，即记忆容量。DHNN的稳定性与网络的演化方式（串行或并行）及参数W和θ有关，因此，网络的记忆容量也与这些参数密切相关。 DHNN实现联想记忆的关键问题是要使记忆模式的样本对应于网络能量函数的局部极小点。例如，设有m个n维记忆模式，通过对网络n个神经元之间连接权 和n个神经元输出阈值的设计，使这m个记忆模式所对应的状态正好使网络能量函数的m个局部极小点。这是一个较复杂困难的问题，目前还没有一个适应任意记忆模式且有效的通用设计方法。联想记忆的设计方法有外积法、、【】将上式展开，可表示为 可见，由式（C） 【】是要求网络记忆的m(mn) 个记忆模式矢量，它们彼此正交，即满足： 假定网络的阈值，网络的连接权矩阵 W 按照式（C）都是DHNN的稳定点。 【】是一个稳定的记忆，，则一也是一个稳定的记忆 （的情况出外）。 【】，则所有的矢量也都是DHNN的稳定点。本定理的证明方法同定理1。 一个具有n个神经元的DHNN的记忆容量是多少？如果单从网络的两个基本参数和来看，由于它们是任意实数，可能有无穷多种参数组合，因而其记忆能力似乎是无穷大的。但实际上DHNN的记忆能力决定于和的适当组合而能够形成的网络能量函数极小点的个数。对于一个给定的