神经网络算法入门【】课件.pptVIP

* 神经元各种不同数学模型的主要区别在于采用了不同的转移函数，从而使神经元具有不同的信息处理特性。神经元的信息处理特性是决定人工神经网络整体性能的三大要素之一，反映了神经元输出与其激活状态之间的关系，最常用的转移函数有4种形式。 (1)阈值型转移函数 阈值型转移函数采用了图中的单位阶跃函数，又称为硬限幅函数。用下式定义： f(x)= 1 x≥0 (2.7) 0 x＜0 * 非线性转移函数为实数域R到[0.1]闭集的非减连续函数，代表了状态连续型神经元模型。非线性转移函数称为sigmoid ，简称 S型函数 。其特点是函数本身及其导数都是连续的，因而在处理上十分方便。 S型函数函数又分为单极性和双极性两种，分别定义如下： * 非线性转移函数为实数域R到[0.1]闭集的非减连续函数，代表了状态连续型神经元模型。非线性转移函数称为sigmoid ，简称 S型函数 。其特点是函数本身及其导数都是连续的，因而在处理上十分方便。 S型函数函数又分为单极性和双极性两种，分别定义如下： * （3）分段线性转移函数 该函数特点是神经元的输入与输出在一定区间内满足线性关系，模拟了实际系统中的饱和特性。由于具有分段线性的特点，因而在实现上比较简单。这类函数也称为伪线性函数，表达式如下： 0 x≤0 f(x)= cx 0＜ x≤xc (2.9) 1 xc＜ x * （3）分段线性转移函数 该函数特点是神经元的输入与输出在一定区间内满足线性关系，模拟了实际系统中的饱和特性。由于具有分段线性的特点，因而在实现上比较简单。这类函数也称为伪线性函数，表达式如下： 0 x≤0 f(x)= cx 0＜ x≤xc (2.9) 1 xc＜ x * （4）概率型转移函数 采用概率型转移函数的神经元模型其输入与输出之间的关系是不确定的，需用一个随机函数来描述输出状态为1或为0的概率。设神经元输出为1的概率为 式中，T称为温度参数。由于采用该转移函数的神经元输出状态分布与热力学中的玻尔兹曼（Boltzmann）分布相类似，因此这种神经元模型也称为热力学模型。 * 网络拓扑结构类型 根据神经元之间连接方式，可将神经网络结构分为两大类： 一、层次型结构 层次型结构的神经网络将神经元按功能分成若干层，如输入层、中间层（也称为隐层）和输出层，各层顺序相连，如图所示。输入层各神经元负责接收来自外界的输入信息，并传递给中间各隐层神经元；隐层是神经网络的内部信息处理层，负责信息变换，根据信息变换能力的需要，隐层可为设计一层或多层；最后一个隐层传递到输出层各神经元的信息经进一步处理后即完成一次信息处理，由输出层向外界（如执行机构或显示设备）输出信息处理结果。层次型网络结构有3种典型的结合方式。 (1)单纯型层次网络结构 在上图所示的层次型网络中，神经元分层排列，各层神经元接收前一层输入并输出到下一层，层内神经元自身以及神经元之间不存在连接通路。 * 输出层到输入层有连接的层次网络结构 图2.10所示为输入层到输出层有连接路径的层次型网络结构。其中输入层神经元既可接收输入，也具有信息处理功能。 * 层内有互连的层次网络结构 图2.11所示为同一层内神经元有互连的层次网络结构，这种结构的特点是在同一层内引入神经元间的侧向作用，使得能同时激活的神经元个数可控，以实现各层神经元的自组织。 * 二、互连型网络结构 对于互连型网络结构，网络中任意两个节点之间都可能存在连接路径，因此可以根据网络中节点的互连程度将互连型网络结构细分为三种情况： (1)全互连型 网络中的每个节点均与所有其它节点连接，如图2.12所示。 * (2)局部互连型 网络中的每个节点只与其邻近的节点有 连接，如图2.13所示。 (3)稀疏连接型 网络中的节点只与少数相距较远的节点相连 * 单纯前馈型网络的结构特点与图2.9中所示的分层网络完全相同，前馈是因网络信息处理的方向是从输入层到各隐层再到输出层逐层进行而得名。从信息处理能力看，网络中的节点可分为两种：一种是输入节点，只负责从外界引入信息后向前传递给第一隐层；另一种是具有处理能力的节点，包括各隐层和输出层节点。前馈网络中前一层的输出是下一层的输入，信息的处理具有逐层传递进行的方向性，一般不存在反馈环路。因此这类网络很容易串联起来建立多层前馈网络。 多层前馈网络可用一个有向无环路的图表示。其中输入层常