第2节神经网络 基础知识-课件.pptVIP

2.4神经网络学习 无导师学习(无监督学习) 无导师学习也称为无监督学习，学习过程中，需要不断给网络提供动态输入信息，网络能根据特有的内部结构和学习规则，在输入信息流中发现任何可能存在的模式和规律，同时能根据网络的功能和输入信息调整权值，这个过程称为网络的自组织，其结果是使网络能对属于同一类的模式进行自动分类。在这种学习模式中，网络的权值调整不取决于外来教师信号的影响，可以认为网络的学习评价标准隐含于网络的内部。 学习的过程（权值调整的一般情况 ） 神经网络学习 2.4神经网络学习 第二节小结 重点介绍了生物神经元的结构及其信息处理机制、人工神经元数理模型、常见的网络拓扑结构以及和学习规则。其中，神经元的数学模型、神经网络的连接方式以及神经网络的学习方式是决定神经网络信息处理性能的三大要素。 (1)生物神经元的信息处理 (2)人工神经元模型 (3)人工神经网络模型 (4)神经网络学习 上述内容可用一个数学表达式进行抽象与概括。令xi(t)表示t时刻神经元j接收的来自神经元i的信息输入，oj(t)表示t时刻神经元j的信息输出，则神经元j的状态可表达为2.1式。其中： τij——输入输出间的突触时延； Tj——神经元j的阈值； wij——神经元i到j的突触连接系数或称权重值； f ()——神经元转移函数。 为简单起见，将2.1上式中的突触时延取为单位时间，则式(2.1)可写为2.2式。 上式描述的神经元数学模型全面表达了神经元模型的6点假定。其中输入xi的下标i=1,2,…,n，输出oj的下标j体现了神经元模型假定(1)中的“多输入单输出”。权重值wij的正负体现了假定(2)中“突触的兴奋与抑制”。Tj代表假定(3)中神经元的“阈值”；“输入总和”常称为神经元在t时刻的净输入，用下面的式子表示： net’j(t) 体现了神经元j的空间整合特性而未考虑时间整合，当net’j-Tj0时，神经元才能被激活。oj(t+1)与xI(t)之间的单位时差代表所有神经元具有相同的、恒定的工作节律，对应于假定(4)中的“突触延搁”；wij与时间无关体现了假定(6)中神经元的“非时变”。 为简便起见，在后面用到式(2.3)时，常将其中的(t)省略。式(2.3)还可表示为权重向量Wj和输入向量X的点积WTX。 其中Wj和X均为列向量，定义为 Wj=(w1 w2 … wn）T，X=(x1 x2 … xn)T 如果令x0=-1，w0=Tj，则有-Tj=x0w0，因此净输入与阈值之差可表达为 显然，式(2.4)中列向量Wj和X的第一个分量的下标均从1开始，而式(2.5)中则从0开始。采用式(2.5)的约定后，净输入改写为netj，与原来的区别是包含了阈值。综合以上各式，神经元模型可简化为 oj=f(netj)=f (WjTX) (2.6) 神经元各种不同数学模型的主要区别在于采用了不同的转移函数，从而使神经元具有不同的信息处理特性。神经元的信息处理特性是决定人工神经网络整体性能的三大要素之一，反映了神经元输出与其激活状态之间的关系，最常用的转移函数有4种形式。 (1)阈值型转移函数 阈值型转移函数采用了图中的单位阶跃函数，又称为硬限幅函数。用下式定义： f(x)= 1 x≥0 (2.7) 0 x＜0 非线性转移函数为实数域R到[0.1]闭集的非减连续函数，代表了状态连续型神经元模型。非线性转移函数称为sigmoid ，简称 S型函数 。其特点是函数本身及其导数都是连续的，因而在处理上十分方便。 S型函数函数又分为单极性和双极性两种，分别定义如下： 人工神经网络的模型很多，可以按照不同的方法进行分类。其中常见的两种分类方法是，按网络连接的拓扑结构分类和按网络内部的信息流向分类。 网络拓扑结构类型 根据神经元之间连接方式，可将神经网络结构分为两大类： 一、层次型结构 层次型结构的神经网络将神经元按功能分成若干层，如输入层、中间层（也称为隐层）和输出层，各层顺序相连，如图所示。输入层各神经元负责接收来自外界的输入信息，并传递给中间各隐层神经元；隐层是神经网络的内部信息处理层，负责信息变换，根据信息变换能力的需要，隐层可为设计一层或多层；最后一个隐层传递到输出层各神经元的信息经进一步处理后即完成一次信息处理，由输出层向外界（如执行机构或显示设备）输出信息处理结果。层次型网络结构有3种典型的结合方式。 (1)单纯型层次网络结构 在上图所示的层次型网络中，神经元分层排列，各层神经元接收前一层输入并输出到下一层，层内神经元自身以