第3讲 神经网络专题.ppt

第3讲人工神经网络 主要内容 人工神经网络的发展 神经元与网络结构 感知器（Perceptron） 反向传播网络(BP) 应用实例 3.1人工神经网络的发展 1. 1940以前 代表人物有von Hemholtz, Mach, Pavlov等 学习、训练的一般理论 没有具体神经元的数学模型 3. 20世纪50年代 代表人物有Rosenblatt, Widrow and Hoff等 快速实用的神经网络和学习规则 5. 20世纪70年代 代表人物有Amari, Anderson, Fukushima, Grossberg, Kohonen 经过一段时间的沉寂后，研究继续进行 6. 20世纪80年代 20世纪80年代： Grossberg, Hopfield, Kohonen, Rumelhart 随着PC机和工作站计算能力的急剧增强 神经网络得到广泛应用 新的概念不断引入 克服了摆在神经网络研究面前的障碍 人们对神经网络的研究热情空前高涨 关于神经网络的主要国际性杂志有： (1)Neural Networks(国际神经网络协会会刊) (2)IEEE Transactions on Neural Networks (3)IEEE Transactions on Parallel Distributed System (4)Connections Science (5)Neurocomputing (6)Neural Computation (7)International Journal of Neural Systems 神经元是大脑处理信息的基本单元，它的结构如图所示。它是以细胞体为主体，由许多向周围延伸的不规则树枝状纤维构成的神经细胞，其形状很像一棵枯树的枝干。它主要由细胞体、树突、轴突和突触(Synapse，又称神经键)组成。 生物神经网络的模型化——人工神经网络 神经网络是一个并行和分布式的信息处理网络结构，一般由许多个神经元组成。 神经元结构 xi(i＝1，2，…，n)为输入端(突触)上的输入信号；ωi为相应的突触连接权系数，它是模拟突触传递强度的一个比例系数，∑表示突触后信号的空间累加；θ表示神经元的阈值，σ表示神经元的响应函数。该模型的数学表达式为： 响应函数 阈值单元 线性单元 1.前向网络 网络的结构如左图所示，网络中的神经元是分层排列的，每个神经元只与前一层的神经元相连接。最上一层为输出层，隐含层的层数可以是一层或多层。前向网络在神经网络中应用很广泛。 例如，感知器就属于这种类型。 2.从输出到输入有反馈的前向网络 网络的结构如左图所示。网络的本身是前向型的，与前一种不同的是从输出到输入有反馈回路。 例如，Fukushima网络就属于这种类型。 3.层内互连前向网络 可以实现同一层神经元之间横向抑制或兴奋的机制，从而限制层内能同时动作的神经数 可把层内神经元分为若干组，让每组作为一个整体来动作。 一些自组织竞争型神经网络就属于这种类型。 4.互连网络 互连网络有局部互连和全互连两种。 全互连网络中的每个神经元都与其他神经元相连。 局部互连是指互连只是局部的，有些神经元之间没有连接关系。 Hopfield网络和Boltzmann机属于互连网络的类型。 人工神经网络的学习 学习方法就是网络连接权的调整方法。 人工神经网络连接权的确定通常有两种方法： 根据具体要求：直接计算出来，如Hopfield网络做优化计算； 通过学习得到的，大多数人工神经网络都用这种方法。 学习方法是多种多样的。一些基本的、通用的学习规则： 一些基本的、通用的学习规则 1．Hebb学习规则 是Donall Hebb根据生理学中条件反射机理，于1949年提出的神经元连接强度变化的规则。 2．学习规则 用已知样本作为教师对网络进行学习，又称误差校正规则。 3．相近学习规则 3.3 感知器（Perceptron） 感知器是由美国计算机科学家罗森布拉特（F.Roseblatt）于1957年提出的。感知器可谓是最早的人工神经网络。 单层感知器是一个具有一层神经元、采用阈值激活函数的前向网络。 通过对网络权值的训练，可以使感知器对一组输入矢量的响应达到元素为0或1的目标输出。 其中，每一个输入分量pj(j＝1，2…，r)通过一个权值分量wj，进行加权求和，并作为阈值函数的输入。偏差b的加入使得网络多了一个可调参数，为使网络输出达到期望的目标矢量提供了方便。 感知器特别适合解决简单的模式分类问题。 F.Roseblatt已经证明，如果两类模式是线性可分的（指存在一个超平面将它们分开），则算法一定收敛。 感知