自组织竞争神经网络与som网络kohonen网络.pptVIP

* CPN网络的应用 * §4.6小结 本章介绍了无教师学习方式的自组织神经网络，包括以下主要内容 竞争学习的原理 自组织特征映射神经网络 对偶传播神经网络 返回 * 层次前向网，输入层和竞争层。 * * * 1981年芬兰Helsink大学的T.Kohonen教授提出一种自组织特征映射网，简称SOM网，又称Kohonen网。 Kohonen认为：一个神经网络接受外界输入模式时，将会分为不同的对应区域，各区域对输入模式具有不同的响应特征，而且这个过程是自动完成的。自组织特征映射正是根据这一看法提出来的，其特点与人脑的自组织特性相类似。 §4.3自组织特征映射神经网络 * SOM网的生物学基础 生物学研究的事实表明，在人脑的感觉通道上，神经元 的组织原理是有序排列。因此当人脑通过感官接受外界 的特定时空信息时，大脑皮层的特定区域兴奋，而且类 似的外界信息在对应区域是连续映象的。 对于某一图形或某一频率的特定兴奋过程，神经元的有 序排列以及对外界信息的连续映象是自组织特征映射网 中竞争机制的生物学基础。 * SOM网的拓扑结构 SOM网共有两层，输入层模拟感知外界输入信息的视 网膜，输出层模拟做出响应的大脑皮层。 * SOM网的权值调整域 SOM网的获胜神经元对其邻近神经元的影响是由近及远，由兴奋逐渐转变为抑制，因此其学习算法中不仅获胜神经元本身要调整权向量，它周围的神经元在其影响下也要程度不同地调整权向量。这种调整可用三种函数表示： * * SOM网的权值调整域 以获胜神经元为中心设定一个邻域半径，该半径圈 定的范围称为优胜邻域。在SOM网学习算法中，优 胜邻域内的所有神经元均按其离开获胜神经元的距 离远近不同程度地调整权值。 优胜邻域开始定得很大，但其大小随着训练次数的 增加不断收缩，最终收缩到半径为零。 * SOM网的运行原理 训练阶段 w1 w2 w3 w4 w5 * SOM网的运行原理 工作阶段 * SOM网的学习算法 (1)初始化 对输出层各权向量赋小随机数并进行归一化处理，得到 ，j=1,2,…m；建立初始优胜邻域Nj*(0)；学习率? 赋初始值。 (2)接受输入 从训练集中随机选取一个输入模式并进行归一化处理，得到 ，p?{1,2,…,P}。 (3)寻找获胜节点 计算 与 的点积，j=1,2,…m，从中选出点积最大的获胜节点j*。 (4)定义优胜邻域Nj*(t) 以j*为中心确定t 时刻的权值调整域，一般初始邻域Nj*(0)较大，训练过程中Nj*(t)随训练时间逐渐收缩。 Kohonen 学习算法 * * (5)调整权值 对优胜邻域Nj*(t)内的所有节点调整权值： i=1,2,…n j?Nj*(t) 式中， 是训练时间t 和邻域内第j 个神经元与获胜经 元 j* 之间的拓扑距离N 的函数，该函数一般有以下规律： * (6)结束检查 学习率是否衰减到零或某个预定的正小数？ * Kohonen学习算法程序流程 * 功 能 分 析 (1)保序映射——将输入空间的样本模式类有序地映射在输出层上。 例1：动物属性特征映射。 * 功能分析 * 功 能 分 析 (2) 数据压缩----将高维空间的样本在保持拓扑结构不变的条件下投影到低维的空间，在这方面SOM网具有明显的优势。无论输入样本空间是多少维，其模式都可以在SOM网输出层的某个区域得到相应。SOM网经过训练以后，在高维空间输入相近的样本，其输出相应的位置也相近。 (3) 特征提取----从高维空间样本向低维空间的映射，SOM网的输出层相当于低维特征空间。 * §4.4 自组织特征映射网络的设计 1. 输出层设计 a.节点数设计 节点数与训练集样本有多少模式类有关。如果节点数少于模式类数，则不足以区分全部模式类，训练的结果势必将相近的模式类合并为一类。这种情况相当于对输入样本进行“粗分”。如果节点数多于模式类数，一种可能是将类别分得过细，而另一种可能是出现“死节点”，即在训练过程中，某个节点从未获胜过且远离其他获胜节点，因此它们的权值从未得到过调整。在解决分类问题时，如果对类别数没有确切的信息，宁可先设定较多的节点数，以便较好的映射样本的拓扑结构，如果分类过细再酌情减少输出节点。“死节点”问题一般可通过重新初始化权值得到解决。 * 1. 输出层设计 b.节点排列的设计 输出层的节点排列成哪种形式取决于实际应用的需要，排列形式应尽量直观反映出实际问题的物理意义。例如，对于旅行路径类的问题，二维平面比较