《递归神经网络.docVIP

递归神经网络概述 一、引言 人工神经网络的发展历史己有60多年，是采用物理可实现的系统模仿人脑神经细胞的结构和功能，是在神经生理学和神经解剖学的基础上，利用电子技术、光学技术等模拟生物神经网络的结构和功能原理而发展起来的一门新兴的边缘交叉学科，(下面简称为神经网络，NeuralNetwork)。这些学科相互结合，相互渗透和相互推动。神经网络是当前科学理论研究的主要“热点”之一，它的发展对目前和未来的科学技术的发展将有重要的影响。神经网络的主要特征是：大规模的并行处理、分布式的信息存储、良好的自适应性、自组织性、以及很强的学习能力、联想能力和容错能力。神经网络在处理自然语言理解、图像识别、智能机器人控制等方面具有独到的优势。与冯·诺依曼计算机相比，神经网络更加接近人脑的信息处理模式。 自从20世纪80年代，Hopfield首次提出了利用能量函数的概念来研究一类具有固定权值的神经网络的稳定性并付诸电路实现以来，关于这类具有固定权值神经网络稳定性的定性研究得到大量的关注。由于神经网络的各种应用取决于神经网络的稳定特性，所以，关于神经网络的各种稳定性的定性研究就具有重要的理论和实际意义。递归神经网络具有较强的优化计算能力，是目前神经计算应用最为广泛的一类神经网络模型。 根据不同的划分标准，神经网络可划分成不同的种类。按连接方式来分主要有两种：前向神经网络和反馈(递归)神经网络。前向网络主要是函数映射，可用于模式识别和函数逼近。递归神经网络因为有反馈的存在，所以它是一个非线性动力系统，可用来实现联想记忆和求解优化等问题。由于神经网络的记亿信息都存储在连接权上，根据连接权的获取方式来划分，一般可分为有监督神经网络、无监督神经网络和固定权值神经网络。有监督学习是在网络训练往往要基于一定数量的训练样木。在学习和训练过程中，网络根据实际输出与期望输出的比较，进行连接权值和阂值的调节。通常称期望输出为教师信号，是评价学习的标准。最典型的有监督学习算法是BP(BackProPagation)算法。对于无监督学习，无教师信号提供给网络，网络能根据其特有的结构和学习规则，进行连接权值和闽值的调整，以表示外部输入的某种固有特征。 与有监督和无监督神经网络相比，固定权值神经网络不需要进行学习，权值是根据要解决的问题事先确定的。具有反馈的固定权值递归神经网络，如目前受到广泛研究的Hopfield网络、细胞神经网络、双向联想记忆网络和Cohen-Grossberg网络等，主要用在优化计算、联想记忆和模式识别等方面。 二、递归神经网络的分类 递归神经网络是一种具有固定的权值、外部的输入和内部的状态的神经网络，可将其看作以权值和外部输入为参数的，关于内部状态的行为动力学。 根据基本变量是神经元状态(神经元外部状态)或局部场状态(神经元内部状态)，或者从外部状态和内部状态作为建模方法来分，递归神经网络分为：静态场神经网络模型和局部场神经网络模型。这两种模型在递归神经网络中代表两类基本的建模方法。局部场模型包括Hopfield型神经网络(即原始Hopfield神经网络及各种变形的Hopfield神经网络)和细胞神经网络模型等。静态场模型包括盒中脑状态模型和优化型神经网络模型。静态场模型广泛应用于求解线性变分不等式和线性补问题。根据处理信号的不同方式，可将神经网络分为连续型系统和离散型系统。 根据时滞的存在与否，可将神经网络分为无时滞系统和有时滞系统。根据神经网络在硬件实现中(产生的)时滞(或利用延迟元件产生的时滞)的不同，可将神经网络分为定常时滞和时变时滞系统、单时滞和多时滞系统、分布时滞和中立型时滞系统等。 总之，根据不同的划分标准，形成了大量的神经网络模型，这些模型都是从不同侧面来反映生物神经网络的功能和特性。 三、Hopfield神经网络动力行为介绍 Hopfield网络是人们最熟悉的全反馈网络，可以说它在人们的心目中就是递归神经网络的典型代表。实际上，Hopfield网络应当是最简单的全反馈网络，它只有一层网络，其激活函数为阈值函数，将k时刻的网络输出反馈到对应的网络输入端，并直接作为下一个时刻网络的输入，组成动态系统，所以网络具有相同的输入和输出节点。Hopfield网络已经被广泛地被应用于联想记忆和优化计算中。 1982年，美国加州工学院生物物理学家Hopfield开创性地提出了一种新型的连续时间递归神经网络模型(原始的Hopfield模型)，可用如下常微分方程组来描述： (1) 其中，电阻R，和电容C的并联模拟了生物神经输出的时间常数，跨导则模拟神经元之间互连的突触特征，且如果i=j则=0；运算放大器模拟神经元的非线性特性，其为连续有界、可微、严格单调增的函数，为第i个神经元的输入，i，j=