计算智能人工神经网络.pptVIP

例4“异或”运算（x1XORx2）输入输出超平面阈值条件x1x2X1XORx2w1*x1+w2*x2-θ=0000w1*0+w2*0-θ＜0θ＞0011w1*0+w2*1-θ≥0θ≤w2101w1*1+w2*0-θ≥0θ≤w1110w1*1+w2*1-θ0θw1+w2此表无解，即无法找到满足条件的w1、w2和θ，如右图所示。因为异或问题是一个非线性可分问题，需要用多层感知器来解决。(0,1)(0,0)(1,0)异或运算问题图示(1,1)第30页，共53页，星期日，2025年，2月5日XOR问题A2(1,1)A1(0,0)B1(1,0)B2(0,1)无法用一条直线把节点正确分开---非线性问题第31页，共53页，星期日，2025年，2月5日XOR问题A2(1,1)A1(0,0)B1(1,0)B2(0,1)可以用二条直线把节点正确分开---多层网络第32页，共53页，星期日，2025年，2月5日6.2多层前馈网络(二)多层感知机神经网络(MPNN)MPNN的计算能力:激励函数为S型函数时, 二层MPNN:足可以解决任意分类判定问题. 三层MPNN:可形成任意复杂决策区域,以任意精度逼近任何连续函数.MPNN的应用领域:函数逼近,模式识别,分类等.BP学习算法:第33页，共53页，星期日，2025年，2月5日yj=f((∑wijhi)-θj)激励函数为Sigmoid三层感知机神经网络基本结构简化图输入层隐层1x1xny1yn隐层2输出层Hj=f((∑wijxi)-θj)hj=f((∑wijhi)-θj)第34页，共53页，星期日，2025年，2月5日x11y=x1XORx2x1X2x121-1111-1输入层隐层输出层权值权值图5.14“异或”问题的多层感知器阈值0.5阈值-1.5阈值1.5(0,1)(0,0)(1,0)图5.15异或问题的解决(1,1)隐层神经元x11所确定的直线方程为它可以识别一个半平面。隐层神经元x12所确定的直线方程为它也可以识别一个半平面。输出层神经元所确定的直线方程为它相当于对隐层神经元x11和x12的输出作“逻辑与”运算，因此可识别由隐层已识别的两个半平面的交集所构成的一个凸多边形，如图所示。y=x1XORx2=(x1Vx2)AND(-x1V-x2)第35页，共53页，星期日，2025年，2月5日反向传播法(BackPropagation)(一)反向传播法(BP):1985年Rumellart等提出. 正向计算:正向计算各层输出,计算最终输出与目标输出间的误差. 反向计算:逐层传播误差信号,修正劝值,直到误差小于给定值. Step1初始化劝值(wij)及阀值为小的随机数. Step2施加输入(x0,x1,…,xn-1),期待输出(d0,d1,…,dn-1) Step3正向计算:各层的输出y0,y1,…,yn-1 Step4反向计算:wij(t+1)=wij(t)+kδiX’i(t) Step5goto3,直到w对一切样本都稳定不变.输出层:δi=yi(1-yi)(di-yi)中间层:δi=x’i(1-x’i)∑δkwik第36页，共53页，星期日，2025年，2月5日反向传播法(BP)(二)优点:算法推导清楚,精度高.计算能力强. 训练后的网络运行速度块.缺点:非线性优化,可能陷入局部最小区间. 学习算法的收敛速度慢，可能不收敛. 网络中隐含节点的设置无理论指导.第37页，共53页，星期日，2025年，2月5日基于神经网络的知识表示与推理基于神经网络的知识表示并不像在产生式系统中那样独立地表示为每一条规则，而是将某一问题的若干知识在同一网络中表示（分布式）。例如，在有些神经网络系统中，知识是用神经网络所对应的有向权图的邻接矩阵及阈值向量表示的。第38页，共53页，星期日，2025年，2月5日计算智能人工神经网络第1页，共53页，星期日，2025年，2月5日第2页，共53页，星期日，2025年，2月5日第3页，共53页，星期日，2025年，2月5日第4页，共53页，星期日，2025年，2月5