【计算机】第五章 机器学习.pptVIP

神经网络 人工神经网络ANN(Artificia1 Neural Network)是由大量的简单处理单元经广泛并行互连形成的一种网络系统。它是对人脑系统的简化、抽象和模拟，具有人脑功能的许多基本特征。 在人工智能领域，人工神经网络已实际应用于模式识别、专家系统、机器学习等许多方面。 Ⅰ、生物神经元及脑神经的结构与特性 1、生物神经元的结构 一个细胞体(cell body或soma) 突(process)两部分组成 轴突(axon) 树突(dendrite) 轴突和树突共同作用，实现了神经元间的信息传递。 轴突的末端与树突进行信号传递的界面称为突触(synapse)，通过突触向其它神经元发送信息。 2、生物神经元的功能与特性 生物神经元具有如下重要功能与特性： (1)时空整合功能 (2)兴奋与抑制状态 (3)脉冲与电位转换 (4)神经纤维传导速率 (5)突触延时和不应期 3、人脑神经系统的功能与特性 生物神经元具有如下重要功能与特性： (1) 记忆和存储功能 (2)高度并行性 (3)分布式功能 (4)容错功能 (5)联想功能 (6)自组织和自学习功能 Ⅱ、人工神经元及人工神经网络 1、人工神经元的结构 人工神经元是对生物神经元的抽象与模拟。所谓抽象是从数学角度而言的，所谓模拟是从其结构和功能角度而言的。 根据生物神经元的功能和结构，提出了一个将神经元看作二进制阈值元件的简单模型，即M-P模型。 M-P神经元模型 2、常用的人工神经元的结构 人工神经元是对生物神经元的抽象与模拟。所谓抽象是从数学角度而言的，所谓模拟是从其结构和功能角度而言的。 根据生物神经元的功能和结构，提出了一个将神经元看作二进制阈值元件的简单模型，即M-P模型。 功能函数f是表示神经元输入与输出之间关系的函数，根据功能函数的不同，可以得到不同的神经元模型。常用的神经元模型有以下几种。 (1)阈值型(Threshold) 这种模型的神经元没有内部状态，作用函数f是一个阶跃函数，它表示激活值σ和其输出f(σ)之间的关系，如图所示。 (2)分段线性强饱和型(Linear Saturation) 这种模型又称为伪线性．其输入/输出之间在一定范围内满足线性关系，一直延续到输出为最大值1为止。但当达到最大值后，输出就不再增大。如图所示。 (3)S型(Sibmoid) 这是一种连续的神经元模型，其输出函数也是一个有最大强出值的非线性函数，其输出值是在某个范围内连续取值的，输入输出特性常用指数、对数或双曲正切等S型函数表示。它反映的是神经元的饱和特性，如图所示。 Ⅱ、人工神经网络互连结构 1、单层或两层神经网络结构 是早期神经网络模型的互连模式，这种互连模式是最简单的层次结构。在两层神经网络结构中，如果不允许用于同一层次间的神经元互连，其结构如图(a)所示。如果允许同一层次问的神经元互连，则称为带侧抑制的连接，其结构如图(b)所示。此外，在有些双层神经网络中，还允许不同层之间有反馈连接。 2、多层网络结构 通常把三层和三层以上的神经网络结构称为多层神经网络结构。 将所有神经元按功能分为若干层。一般有输入层、隐层(中间层)和输出层。 输入层节点上的神经元接受外部环境的输入模式，并由它传递给相连隐层上的各个神经元。 隐层是神经元网络的内部处理层，这些神经元再在网络内部构成中间层，由于它们不直接与外部输入、输出打交道，故称隐层。人工神经网络所具有的模式变换能力主要体现在隐层的神经元上。 输出层用于产生神经网络的输出模式。 较有代表性的多层网络模型： 前向网络(BP网络)模型 多层例抑制神经网络 带有反馈的多层神经网络模型。 (1)多层前向神经网络 多层前向神经网络模型的典型代表是BP神经网络，如图所示。 输入模式由输入层进入网络，经中间各层的顺序变换，最后由输出层产生一个输出模式，便完成一次网络更新。这是最简单的一种前向多层网络。 所谓前向网络是由分层网络逐层模式变换处理的方向而得名的。 前向网络的连接模式不具有本层之间或指向前一层的连接弧，而只有指向下一层的连接弧。 (2)多层例抑制神经网络 这是一种在同一层内有相互连接的多层前向网络 允许网络中间一层上的神经元之间相互连接。 这种连接方式将形成同一层的神经元被此之间的牵制作用，可实现同一层上神经元之间的横向抑制或兴奋的机制。 可以用来限制同一层内能同时激活神经元的个数，或者把每一层内的神经元分成若干组，让每组作为一个整体来动作。 (3)带有反馈的多层神经网络模型 这是一种允许输出层——隐层，隐层中各层之间，隐层——输入层之间具有反馈连接的方式，反馈的结果将构成封闭环路。在这种神经网络中，