8-神经网络分类器-第八章课件.pptVIP

前馈型网络 网络拓扑结构类型 ——层次型结构 反馈型网络 网络拓扑结构类型 ——层次型结构 前馈型神经网络是广为应用的一种网络，其原理或算法也是其它一些网络的基础。径向基函数(RBF)神经网络也是一种前馈型神经网络，由于RBF 网络学习收敛速度较快，近年来在应用中受到重视。 Hopfield 神经网络是反馈型网络的代表。网络的运行是一个非线性的动力学系统，已在联想记忆和优化计算中得到成功应用。 自组织竞争型神经网络的特点是能识别环境的特征，并自动聚类。它们在特征抽取和大规模数据处理中已有极为成功的应用 几种神经网络介绍 神经网络的性质主要取决于以下两个因素：一个是网络的拓扑结构；另一个是网络的权值。二者结合起来就可以构成一个网络的主要特征。 神经网络的学习问题就是网络的权值调整问题。神经网络的连接权值的确定一般有两种方式： 一种是通过设计计算确定，即所谓死记式学习；Hopfield 网络作联想记忆和优化计算时就是属于这种情况。 另一种是网络按一定的规则通过学习（训练）得到的。大多数神经网络使用后一种方法确定其网络权值。如自组织学习、有/无监督学习等。 神经网络学习 神经网络学习 神经网络能够通过对样本的学习训练，不断改变网络的连接权值以及拓扑结构，以使网络的输出不断地接近期望的输出，其本质是可变权值的动态调整。 神经网络的学习类型： 有导师学习(有监督学习) 无导师学习(无监督学习) 死记式学习 非监督学习看起来非常困难：目标是我们不告诉计算机怎么做，而是让它（计算机）自己去学习怎样做一些事情。非监督学习一般不为其指定明确的分类，而是在成功时采用某种形式的激励制度。它的目标不是产生一个分类系统，而是做出最大回报的决定。这种思路很好的概括了现实世界，可以对那些正确的行为做出激励，并对其他的行为进行处罚。 神经网络的学习问题就是网络的权值调整问题。连接权wij通常在[-1,1]之间取值： wij0，称为正连接，表示神经元i对j有激活作用 wij0，称为负连接，表示神经元i对j有抑制作用 神经网络的各种学习算法的不同特点反映在调整权值的原则、方法、步骤和迭代过程的参数选择上。 神经网络学习 感知器的学习分类： y=sgn(x) 详细讨论权值的确定： 权值的确定： 激励函数：通常选取下列函数之一： 激励函数的选择 激励函数的选择 BP网络是一种前馈网络,即误差反向传播神经网络 一般的前馈网络包括一个输入层和一个输出层，若干隐单元。隐单元可以分层也可以不分层，若分层，则称为多层前馈网络。网络的输入、输出神经元其激活函数一般取为线性函数，而隐单元则为非线性函数。任意的前馈网络，不一定是分层网络或全连接的网络。 多层前馈网络的每一层都是单层的网络，却无法用单层感知器的学习方法。其解决方法：通过误差函数求导使误差沿网络向后传播。 BP网络 BP模型学习算法的基本思想为： (1)从训练样例中取出一样例，把输入信息输入到网络中 (2)由网络分别计算各层节点的输出 (3)计算网络的实际输出和期望输出的误差 (4)从输出层反向计算到第一隐层，根据减小误差原则调整网络的各个连接权值 (5)对训练样例集中的每一个样例重复以上步骤，直到对整个训练样集的误差达到要求为止 B－P模型学习公式推导： BP网络表示为： Oi。：结点i的输出 netj : 结点j的输入 wij，结点i到结点j的连接权值 yk 、 : 分别表示输出层上结点k的 实际输出和期望输出。 在BP算法中，为了使学习以尽可能快的减少误差的方式进行，对误差采用基于梯度法极小化二次性能的指标函数： 连接权值的修正公式为： 结论： 输出结点： 权值调整 ?为增益因子 隐结点： 权值调整 基于神经网络的字符识别 系统采用了粗网格特征提取办法。以数字“3”为例，提取字符特征的步骤为：首先将数字“3”归一化为32x16的比例尺寸，然后再分为8X4个网格，如图所示，依次统计每个网格内的黑像素，形成一个8x4的特征向量 特征提取： 转移函数： 训练时：匹配输出节点的期望值定为0.9，其它输出节点的期望值定为0.1。在识别时，则取输出节点的最大值作为匹配的值。 神经网络分类方法 郏东耀 1.神经网络的结构特点 2.神经网络的数学模型 3.感知器模型 4.神经网络的应用—字符识别  主要内容 1.大规模并行计算?2.非线性处理?3.鲁棒性4.自组织及自适应性?5.学习能力?7.联想能力? 人类神经网络的特点： 21世纪:?智能科学