神经网络精选课件第五章反馈神经网络.pptVIP

第五章 反馈神经网络 第五章 反馈神经网络 §5.1 前言 §5.2 Hopfield神经网络 §5.3 Boltzmann模型 §5.4 小结 §5.1 前言 反馈网络又称递归网络，或回归网络。在反馈网络（Feedback NNs）中，输入信号决定反馈系统的初始状态，然后系统经过一系列状态转换以后，逐渐收敛于平衡状态。这样的平衡状态就是反馈网络经计算后的输出结果，由此可见，稳定性是反馈网络中最重要的问题之一。如果能找到网络的Lyapunov函数，则能保证网络从任意的初始状态都能收敛到局部最小点。 Hopfield神经网络是反馈网络中最简单且应用最广的模型，它具有联想记忆的功能。如果把Lyapunov函数定义为寻优函数的话，Hopfield网络还可用来解决快速寻优问题。 §5.1 前言 §5.2 Hopfield神经网络 Hopfield神经网络是美国物理学家J. J. Hopfield于1982年首先提出的。它主要用于模拟生物神经网络的记忆机理。 Hopfield网络是一种全连接型的神经网络。对于每一个神经元来说，自己的输出信号通过其它神经元又反馈到自己，所以Hopfield网络是一种反馈型神经网络。 Hopfield神经网络可分为离散型(DHNN)和连续型（CHNN）两种。 §5.2 Hopfield神经网络 Hopfield神经网络状态的演变过程是一个非线性动力学系统，可以用一组非线性差分方程（对于离散型Hopfield神经网络）或微分方程（对于连续型Hopfield神经网络）来描述。系统的稳定性可用所谓的“能量函数”（即李雅普诺夫或哈密顿函数）进行分析。在满足一定条件下，某种“能量函数”的能量在网络运行过程中不断地减小，最后趋于稳定的平衡状态。 离散型Hopfield神经网络 离散型Hopfield神经网络 网络的稳定性与吸引子 吸引子与能量函数 吸引子与能量函数 吸引子的性质 吸引子的吸引域 网络的权值设计 连续型Hopfield神经网络 连续型Hopfield神经网络(CHNN)是J. J. Hopfield于1984年在离散型Hopfield神经网络的基础上提出来的，它的原理与离散型网络相似。 CHNN是以模拟量作为网络的输入输出量，各神经元采用并行方式工作，因此在信息处理的并行性、联想性、实时性、分布存贮、协同性等方面比DHNN更接近于生物神经网络。 §5.3 Boltzmann模型 Boltzmann机模型与离散型Hopfield神经网络(DHNN)模型基本相似 共同点 1. 神经元取二值输出(0和1) 2. 神经元之间得连接权矩阵是对称的 3. 神经元的抽样是随机的，每次只调整一个神经元 4. 无自反馈 不同点 1.Boltzmann机允许使用隐含层，而离散型Hopfield神经网络(DHNN)没有 2. Boltzmann机的神经元采用随机激活机制，而DHNN则是确定性的 3. DHNN在无监督状态下运行，而Boltzmann机可以以某种随机模式进行有监督的学习 Boltzmann机模型结构 由可视层和隐含层两部分组成，主要用于随机性自联想记忆。 训练时可视层神经元由外输入矢量钳制在特定状态，隐含层运行在自由状态。 隐含层神经元是用于检测外输入的统计特征，这种网络可以通过无监督的学习模拟外界给定的概率分布。 Boltzmann机模型结构 这种结构主要用于联想记忆。 这种网络采用有教师学习方式，把某个记忆模式加到网络的输入部分，同时在网络的输出部分按一定概率分布给出一组期望模式。 给出的概率分布函数实际上是输出模式对于输入模式的条件概率分布。 例:一个Boltzmann机构成的柴油机故障诊断系统 当网络提供一个表示排气管有黑烟的故障输入模式后，在网络的输出部分（故障诊断系统的诊断输出端）按产生这种故障现象原因的概率大小提供一系列输出模式，如气缸点火位置不准，油料中含有杂质等，从而构成网络学习的模式对。 与DHNN相似， Boltzmann机能量函数定义为： 其中，n为网络的神经元总数（包括可视层和隐含层）。能量函数E的值与网络的全状态有关。 所谓全状态是指由网络全体神经元输出所构成的状态。网路的全状态数为 。 当 发生变化时，将引起神经元状态的更新。这种更新在神经元之间是同步进行的，并用概率分析方法来描述。全神经元i 的输出 为1和0的概率分别为 和 : 可见，状态能量越小，这一状态出现的概率越大。这就是Boltzmann分布的一大特点，即“最小能量状态以最大概率出现”。 和 的关系如图所示。由式(7)可以看出，令