第五章神经计算.ppt

BP网络学习举例 */65 图 BP网络举例 用样本数据按BP算法对该网络进行训练，训练结束后，网络就可作为一种模式分类器使用。因为网络的输出向量(1，0，0)、(0，1，0)、(0，0，1)可以表示多种模式或状态。如可以分别表示凸、凹和直三种曲线，或者三种笔划，也可以表示某公司的销售情况：高峰、低谷和持平等等。 当然，要使网络有很好的模式分类能力，必须给以足够多的范例使其学习，本例仅是一个简单的示例。 */65 神经网络模型 神经网络模型是一个在神经网络研究和应用中经常提到的概念。所谓神经网络模型，它是关于一个神经网络的综合描述和整体概念，包括网络的拓扑结构、输入输出信号类型、信息传递方式、神经元特性函数、学习方式、学习算法等等。 截止目前，人们已经提出了上百种神经网络模型,下表简介最著名的几种。 */65 神经网络模型 */65 */65 神经网络模型 */65 神经网络模型 神经网络模型 神经网络模型也可按其功能、结构、学习方式等的不同进行分类。 1.按学习方式分类 神经网络的学习方式包括三种，有导师学习、强化学习和无导师学习。按学习方式进行神经网络模型分类时，可以分为相应的三种，即有导师学习网络、强化学习网络及无导师学习网络。 */65 神经网络模型 2. 按网络结构分类 神经网络的连接结构分为两大类,分层结构与互连结构，分层结构网络有明显的层次,信息的流向由输入层到输出层,因此,构成一大类网络,即前向网络。对于互连型结构网络,没有明显的层次,任意两处理单元之间都是可达的,具有输出单元到隐单元(或输入单元)的反馈连接，这样就形成另一类网络,称之为反馈网络。 */65 神经网络模型 3. 按网络的状态分类 在神经网络模型中，处理单元(即神经元)的状态有两种形式：连续时间变化状态、离散时间变化状态。如果神经网络模型的所有处理单元状态能在某一区间连续取值，这样的网络称为连续型网络；如果神经网络模型的所有处理单元状态只能取离散的二进制值0或1(或-1、+1)，那么称这种网络为离散型网络。 典型的Hopfield网络同时具有这两类网络，分别称为连续型Hopfield网络和离散型Hopfield网络。另外，还有输出为二进制值0或1、输入为连续值的神经网络模型，如柯西机模型。 */65 神经网络模型 4. 按网络的活动方式分类 确定神经网络处理单元的状态取值有两种活动方式，一种是由确定性输入经确定性作用函数，产生确定性的输出状态；另一种是由随机输入或随机性作用函数，产生遵从一定概率分布的随机输出状态。 具有前一种活动方式的神经网络，称为确定性网络。已有的大部分神经网络模型均属此类。而后一种活动方式的神经网络，称为随机性网络。随机性网络的典型例子有：波尔茨曼机、柯西机和高斯机等。 */65 */65 ANN 人工神经网络 概述 基本原理 前向型神经网络 自组织竞争神经网络 神经网络的应用 与人工智能原理的结合 BP神经网络 */65 自组织竞争神经网络 概述 在实际的神经网络中，存在一种侧抑制的现象。即一个细胞兴奋后，通过它的分支会对周围其他神经细胞产生抑制。这种侧抑制在脊髓和海马中存在，在人眼的视网膜中也存在。 */65 自组织竞争神经网络 概述 这种抑制使神经细胞之间出现竞争，一个兴奋最强的神经细胞对周围神经细胞的抑制也强。虽然一开始各个神经细胞都处于兴奋状态，但最后是那个输出最大的神经细胞“赢”，而其周围的神经细胞“输”了。 胜者为王。小猫 */65 自组织竞争神经网络 概述 自组织竞争神经网络是在 “无师自通”的现象的基础上生成的。 人类等生物的生长过程。 */65 自组织竞争神经网络 结构： 层内细胞之间互联，在各个神经细胞中加入自反馈，相互作用，输出y为 ： 系统稳定时“胜者为王”。此时赢者的权向量与输入向量的欧氏距离最小。此距离为 ： */65 自组织竞争神经网络 自组织映射模型 自组织映射模型是由Kohonen提出来的。模型是以实际神经细胞中的一种特征敏感的细胞为模型的。各个细胞分别对各种输入敏感，可以代表各种输入，反映各种输入样本的特征。如果在二维空间上描述这些细胞，则，功能相近的细胞聚在一起，靠得比较近。功能不同的离得比较远。 网络形成过程： 开始是无序的，当输入样本出现后各个细胞反映不同，强者依照“胜者为王”的原则，加强自己的同时对周围细胞进行压抑。使其对该种样本更加敏感，也同时对其他种类的样本更加不敏感。此过程的反复过程中，各种不同输入样本将会分别映射到不同的细胞上。 */65 Kohonen网络的结构 x2 x1 输入层 输出层 */65 Nc(t)的形状和变化情况