模式识别第六章.ppt

输入层与中间层的连接权值:隐含层与输出层的连接权值:隐含层各神经元的阈值:输出层各神经元的阈值:样本数据个数:激活函数:误差函数：第92页，共167页，星期日，2025年，2月5日第一步，网络初始化给各连接权值分别赋一个区间（-1，1）内的随机数，设定误差函数e，给定计算精度值和最大学习次数M。第二步,随机选取第个输入样本及对应期望输出第93页，共167页，星期日，2025年，2月5日第三步，计算隐含层各神经元的输入和输出第94页，共167页，星期日，2025年，2月5日第四步，利用网络期望输出和实际输出，计算误差函数对输出层的各神经元的偏导数。第95页，共167页，星期日，2025年，2月5日第五步，利用隐含层到输出层的连接权值、输出层的和隐含层的输出计算误差函数对隐含层各神经元的偏导数。第96页，共167页，星期日，2025年，2月5日第97页，共167页，星期日，2025年，2月5日第六步，利用输出层各神经元的和隐含层各神经元的输出来修正连接权值。第98页，共167页，星期日，2025年，2月5日第七步，利用隐含层各神经元的和输入层各神经元的输入修正连接权。第99页，共167页，星期日，2025年，2月5日第八步，计算全局误差第九步，判断网络误差是否满足要求。当误差达到预设精度或学习次数大于设定的最大次数，则结束算法。否则，选取下一个学习样本及对应的期望输出，返回到第三步，进入下一轮学习。第100页，共167页，星期日，2025年，2月5日BP算法直观解释情况一直观表达当误差对权值的偏导数大于零时，权值调整量为负，实际输出大于期望输出，权值向减少方向调整，使得实际输出与期望输出的差减少。whoe0，此时Δwho0第101页，共167页，星期日，2025年，2月5日BP算法直解释情况二直观表达当误差对权值的偏导数小于零时，权值调整量为正，实际输出少于期望输出，权值向增大方向调整，使得实际输出与期望输出的差减少。e0,此时Δwho0who第102页，共167页，星期日，2025年，2月5日BP神经网络的特点非线性映射能力能学习和存贮大量输入-输出模式映射关系，而无需事先了解描述这种映射关系的数学方程。只要能提供足够多的样本模式对供网络进行学习训练，它便能完成由n维输入空间到m维输出空间的非线性映射。泛化能力当向网络输入训练时未曾见过的非样本数据时，网络也能完成由输入空间向输出空间的正确映射。这种能力称为泛化能力。容错能力输入样本中带有较大的误差甚至个别错误对网络的输入输出规律影响很小。第103页，共167页，星期日，2025年，2月5日BP学习算法是神经网络学习中最常用的学习方法之一,BP网络被广泛应用于模式识别、函数逼近、数据压缩等多个方面。但是,BP算法存在一些不足,例如,隐含层数和隐含层神经元数目通常是通过实验确定的,缺乏理论依据;有可能收敛到一个局部极小点,得到局部最优解;学习算法的收敛速度较慢。第104页，共167页，星期日，2025年，2月5日9.2.3径向基函数网络一、概述1985年，Powell提出了多变量插值的径向基函数(RadicalBasisFunction，RBF)方法。1988年，Moody和Darken首先将RBF应用于神经网络设计，构成了径向基函数神经网络。结构：RBF网络是一种三层前向网络输入层由信号源节点组成；第二层为隐含层，隐单元的个数由所描述的问题而定，隐单元的变换函数是中心点径向对称且衰减的非负非线性函数；第三层为输出层，它对输入模式的作用做出响应。第105页，共167页，星期日，2025年，2月5日RBF网络的基本思想：用径向基函数（RBF）作为隐单元的“基”，构成隐含层空间，隐含层对输入矢量进行变换，将低维的模式输入数据变换到高维空间内，通过对隐单元输出的加权求和得到输出。当RBF的中心点确定后，映射关系也就确定。隐含层空间到输出空间的映射是线性的。径向基函数(RadialBasisFunction,RBF)网络的结构与BP网络类似,它是一个三层前馈网络,包含1个输入层、1个隐含层和1个输出层,其结构如图9-8所示。第106页，共167页，星期日，2025年，2月5日图9-8RBF网络结构第107页，共167页，星期日，2025年，2月5日在RBF神经网络中,隐含层单元提供了一系列“函数”,这些函数就称作为径向基函数,它是关于中心点对称的非线性函