第四章人工神经元网络模型.pptVIP

例4-1如下图所示的多层前向传播神经网络结构。图4-15例4-1的神经网络结构图假设对于期望的输入

网络权系数的初始值见图。试用BP算法训练此网络（本例中只给出一步迭代学习过程）。这里，取神经元激励函数学习步长为η＝1。解1）输入最大容许误差值E，最大迭代学习次数iterafemax。置初始迭代学习次数iterate=0。2）计算当前输入状态下、当前网络的连接权系数下的神经网络输出（即前向计算）。第30页，共55页，星期日，2025年，2月5日3)判断神经网络最大容许误差满足要求或迭代学习达到最大容许值否？若上述不等式中有一个满足，则退出学习。否则进入4）。第31页，共55页，星期日，2025年，2月5日4）计算广义误差。输出层广义误差：隐含层广义误差：误差反向传播第32页，共55页，星期日，2025年，2月5日5）连接权系数更新继续迭代计算直至满足终止条件为止例如：第33页，共55页，星期日，2025年，2月5日例4-2利用多层前向传播神经网络逼近非线性函数解①训练算法采用传统的BP学习算法，其中样本集取20点即期望值：选择多层前向网络结构为：1个输入神经元、6个隐含层神经元和1个输出神经元（隐层数为1）。神经元激励函数都为Sigmoid函数。图4-16多层前向传播网络结构图初始权系数阵由（0,1）之间的随机数组成。学习步长前向计算误差反向传播学习方式是批量学习还是单样本学习？计算过程：第34页，共55页，星期日，2025年，2月5日②选择30个校验样本数据集，它们的取值为为了验证含多隐含层的前向传播网络的逼近性能，对含有两个隐含层的多层前向网络进行了仿真试验。取第一隐含层的隐含神元经数为4、第二隐含层的隐含神元经数为2。图4-16b)多层前向传播网络结构第35页，共55页，星期日，2025年，2月5日均方误差均方误差yy图4-17两种MLP模型的学习曲线和网络的逼近测试图（比较）BP算法的学习曲线网络的测试集逼近性能系统的实际输出（如虚线所示）神经网络的逼近输出（如实线所示）第36页，共55页，星期日，2025年，2月5日结论：增加隐含层的数目并不一定意味着能够改善逼近精度（隐含层越多，计算量越大，收敛速度就受影响——慢）。对于本例而言，这一非线性函数的神经网络逼近问题用单一隐含层已经足以满足逼近精度了。第37页，共55页，星期日，2025年，2月5日上机试验题（P87）（BP算法的应用－字符识别）1.编写一个利用前向神经传播网络进行字符识别的程序。设神经网络为具有一个隐含层的BP网络，需识别的字符有三个A、I和O，其输入为4×4象素的扫描输入，见图4－25。目标输出分别为A=(1,-1,-1)，I=(-1,1,1)，O=(-1,-1,1)。网络为16个输入节点、3个输出节点、9个隐含层节点。图4－25习题6图问题：输入样本集为？第38页，共55页，星期日，2025年，2月5日第三节动态神经网络模型前向传播网络特点：①从学习观点看是一种强有力的学习系统，系统结构简单且易于编程；②从系统观点看是一种静态非线性映射，通过简单非线性处理单元的复合映射可获得复杂的非线性处理能力；③从计算观点看不是一种强有力的系统，缺乏丰富的动力学行为，大部分前向神经网络都是学习网络，并不注重系统的动力学行为。反馈型神经网络：非线性动力学系统。具备丰富的动力学特征，如稳定性、极限环、奇异吸引子（即浑沌现象）等。第39页，共55页，星期日，2025年，2月5日第1页，共55页，星期日，2025年，2月5日1982：HopfieldHNN模型（HopfieldNeuralNetworks）1986：RumelhartBP算法（backpropagation）误差反向传播学习算法神经元网络系统主要研究三个方面的内容：神经元模型神经网络结构神经网络学习方法线性非线性处理单元前向网络(BP)反馈网络(Hopfield)自组织网络(ART)有导师指导无学习：神经元系统根据某种学习方法调整它内部参数以完成特定的任务的过程。第2页，共55页，星期日，2025年，2月5日一、神经元模型神经元是生物神经系统的最基本单元1、神经细胞结构树突（输入端）细胞体轴突（输出端）突触（轴突末梢）（联系接口）两种状态（有无神经冲动）兴奋（有）：电位差内正外负（约60～100mV）抑制（无）：电位差内负外正（约－50～－100mV）细胞膜内外之间的不同