第二讲 感知器.pptVIP

* * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * * 训练结束后得到如图所示的分类结果，分类线将两类输入矢量分开，其相应的训练误差的变化如图所示。这说明经过4步训练后，就达到了误差指标的要求. 分类结果 误差变化曲线 下面给出本例的MATLAB程序 % Example pre.m ? %NEWP —— 建立一个感知器神经元 %INIT —— 对感知器神经元初始化 %TRAIN —— 训练感知器神经元 %SIM —— 对感知器神经元仿真 pause % 敲任意键继续 clc % P为输入矢量 P = [-0.5 -0.5 +0.3 +0.0; -0.5 +0.5 -0.5 1.0]; % T为目标矢量 T = [1 1 0 0]; pause % 绘制输入矢量图 plotpv(P,T); pause % 定义感知器神经元并对其初始化 net=newp([-0.5 0.5;-0.5 1],1); net.initFcn=initlay; net.layers{1}.initFcn=initwb; net.inputWeights{1,1}.initFcn=rands; net.layerWeights{1,1}.initFcn=rands; net.biases{1}.initFcn=rands; net=init(net); echo off k = pickic; if k == 2 net.iw{1,1} = [-0.8161 0.3078]; net.b{1} = [-0.1680]; end echo on plotpc(net.iw{1,1},net.b{1}) pause % 训练感知器神经元 net=train(net,P,T); pause % 绘制结果分类曲线 plotpv(P,T) plotpc(net.iw{1,1},net.b{1}); pause % 利用训练完的感知器神经元分类 p = [-0.5; 0]; a = sim(net,p) echo off 感知器学习算法的收敛性定理：如果样本输入函数是线性可分的，那么感知器学习算法经过有限次迭代后，可收敛到正确的权值或权向量. 可证：在训练样本Xk,k=1,2,…,N是线性可分时， 采用上式的学习方法，在有限次迭代后，必能得 到正确解. 3.2 感知器的学习算法-收敛性定理 为证明此定理,不失一般性,先对该分类问题做一些 假设： A1:??输入样本Xk,k=1,2,…,N 全部归一化，即 ||Xk||=1； A2:?对最优权向量W*,有||W*||=1. A3:??如果样本可分，那么任意给定的一个输入样本 Xk ，要么属于某一区域F＋，要么不属于这一区 域，记为F－，F＋和F－构成了整个线性可分的 样本空间.在这里仅讨论Xk∈F＋的情况. 3.2 感知器的学习算法-收敛性定理 证明：因为N个样本线性可分，所以存在单位权向量W*和一个较小的正数d0，使得W*TXk≥d对所有的样本输入Xk都成立，任意权值向量W和最优权值向量W*之间的余弦角cosα为 由学习律可得 W(k+1)=W(k)+μX(k) , μ是学习系数. 上式左乘W*可得 W*WT(k+1)=W* [WT(k)+μXT(k)] ≥W*WT(k)+μd 从k=0迭代, 可得 W*WT(k) ≥ W*WT(0)+kμd 3.2 感知器的学习算法-收敛性定理 选择W(0)∈ Xk ，满足W* Xk 0，此时有 W*WT(k) ≥kμd 在W(k)未达到W*时，W(k)XT(k)0，所以 迭代可得： 所以, 由于余弦值S(k) ≤1，当W(k)=W*时，S(k)=1， 于是我们求解得到 这说明在μ和d选定后，可以在有限的次数k达