人工智能及其应用 教学课件 作者 李长河 第9章人工神经网络.pptVIP

第9章 人工神经网络 第9章 人工神经网络 第9章 人工神经网络 9.1 人工神经网络概念 9.2 神经网络 9.3 神经网络学习 9.4 BP网络及其学习举例 9.5 神经网络模型 9.1 人工神经网络概念 神经元指神经细胞,它是生物神经系统的最基本的单元，其基本结构如图9―7所示。 可以看出,神经元由细胞体、树突和轴突组成。细胞体是神经元的主体,它由细胞核、细胞质和细胞膜三部分构成.从细胞体向外延伸出许多突起,其中大部分突起呈树状,称为树突.树突起感受作用,接受来自其他神经元的传递信号. 另外,由细胞体伸出的一条最长的突起,用来传出细胞体产生的输出信号,称之为轴突;轴突末端形成许多细的分枝,叫做神经末梢;每一条神经末梢可以与其他神经元形成功能性接触,该接触部位称为突触。所谓功能性接触是指并非永久性接触,它是神经元之间信息传递的奥秘之处。 ? 一个神经元把来自不同树突的兴奋性或抑制性输入信号(突触后膜电位)累加求和的过程，称为整合。考虑到输入信号的影响要持续一段时间(毫秒级),因此,神经元的整合功能是一种时空整合。当神经元的时空整合产生的膜电位超过阈值电位时,神经元处于兴奋状态,产生兴奋性电脉冲,并经轴突输出;否则,无电脉冲产生,处于抑制状态。 一般地,人工神经元的结构模型如图3所示。 它是一个多输入单输出的非线性阈值器件。其中 x1，x2，…xn表示神经元的n个输入信号量； w1，w2，…，wn表示对应输入的权值,它表示各信号源神经元与该神经元的连接强度； A表示神经元的输入总和,它相应于生物神经细胞的膜电位,称为激活函数;y为神经元的输出;θ表示神经元的阈值。 以上三种特性函数的图像依次如图9―9中的(a)、(b)、(c)所示.由于特性函数的不同,神经元也就分为阈值型、S型和分段线性型三类.另外,还有一类概率型神经元,它是一类二值型神经元。与上述三类神经元模型不同,其输出状态为0或1是根据激励函数值的大小,按照一定的概率确定的。例如,一种称为波尔茨曼机神经元就属此类。本书后面所说的神经元及神经网络都是指人工神经元与人工神经网络。 如果将多个神经元按某种的拓扑结构连接起来，就构成了神经网络。 根据连接的拓扑结构不同，神经网络可分为四大类：分层前向网络、反馈前向网络、互连前向网络、广泛互连网络。 1.分层前向网络 分层前向网络如图3(a)所示。这种网络的结构特征是，网络由若干层神经元组成，一般有输入层、中间层（又称隐层，可有一层或多层）和输出层，各层顺序连接；且信息严格地按照从输入层进，经过中间层，从输出层出的方向流动。 2.反馈前向网络 反馈前向网络如图9―10(b)所示。它也是一种分层前向网络，但它的输出层到输入层具有反馈连接。反馈的结果形成封闭环路，具有反馈的单元也称为隐单元，其输出称为内部输出。 3.互连前向网络 互连前向网络如图9―10(c)所示。它也是一种分层前向网络，但它的同层神经元之间有相互连接。同一层内单元的相互连接使它们之间有彼此牵制作用。 4. 广泛互连网络 所谓广泛互连是指网络中任意两个神经元之间都可以或可能是可达的，即存在连接路径，广泛互连网络如图9―10(d)所示。著名的Hopfield网络、波尔茨曼机模型结构均属此类。 具体来讲，神经网络至少可以实现如下功能： 数学上的映射逼近 通过一组映射样本(x1，y1)(x2，y2)，…，(xn，yn)，网络以自组织方式寻找输入与输出之间的映射关系：yi=f(xi)。 数据聚类、压缩通过自组织方式对所选输入模式聚类。 联想记忆 实现模式完善、恢复，相关模式的相互回忆等。 优化计算和组合优化问题求解 利用神经网络的渐进稳定态，特别是反馈网络的稳定平衡态，进行优化计算或求解组合优化问题的近似最优解。 模式分类 现有的大多数神经网络模型都有这种分类能力。 概率密度函数的估计 根据给定的概率密度函数，通过自组织网络来响应在空间Rn中服从这一概率分布的一组向量样本X1，X2，…，Xk。 学习(亦称训练)是神经网络的最重要特征之一。神经网络能够通过学习,改变其内部状态,使输入—输出呈现出某种规律性。 网络学习一般是利用一组称为样本的数据,作为网络的输入(和输出),网络按照一定的训练规则(又称学习规则或学习算法)自动调节神经元之间的连接强度或拓扑结构,当网络的实际输出满足期望的要求,或者趋