神经网络2005第7讲.docVIP

上次讲的内容： (1)Boltzman机，随机神经网络 (2)Haiming神经网络，误差修正 (3)自组织神经网络。自组织分类。 第三章模式分类与神经网络学习 说明什么是模式分类问题： 简单说明人的学习。修改连接权值。神经网络，连接权值的改变，固定即学习成功。 给定向量对：(X1,d1),…,(XN,dN)， 构造神经网络使输入Xi，则输出di，i=1,2,…,N，最一般的认为：Xi是n维实数向量，Yi是m维实数向量。 Xi=(xi1,xi2,…,xin)，di=(di1,di2,…,dim)下面一点一点看：先看单个神经元是怎样学习的： y=f(()=，(= 这样情况下，输入向量为n维，输出向量为1维。怎样学习： X1=(x11,…,x1n)T，d1 ………… XN=(xN1,…,xNn)T，dN 神经网络连接权值是任意的话，误差是多少？，任给连接权值wi， E=[(d1-y1)2+(d2-y2)2+…+(dN-yN)2] 上面函数是误差函数。若E=0，则W是所求的，否则不行。其他情况下，E越小越好。怎样学习使E越来越小。 W=(w1,w2,…,wn)T，梯度。 怎样使误差减小？怎样改变w。有一个基本规则梯度下降：朝着梯度的反方向去改变w会使得误差减小最快。 (w=((w1, (w2, …, (wn)T，(wi=-(，要有一个系数(。 wi=wi-(，i=1,2,…,n =[2(d1-y1)(-)+…+2(dN-yN)(-)] =[-(d1-y1)f’((1)x1i-…-(dN-yN)f’((N)xNi] =[-(d1-y1)f((1)(1-f((1))x1i-(d2-y2)f((2)(1-f((2))x2i…-(dN-yN)f((N)(1-f((N))xNi] yk=f((k) (k= 可以给出一个算法： (1)随机选定wi,( (2)若E(，则输出wi, (，停止。 (3)计算，wi=wi-(，i=1,2,…,n (4)转(2) 算法学习是否会成功。什么是成功，达到目标，不是所有样本都能达到目标。 样本是线性可分的，则会成功。 感知器是怎样学习的？ (1)样本，(X1,Y1)，(X2,Y2)，…，(XN,YN) (2)求神经网络实现样本映射。 单个神经元的学习：作用函数为：f(()= (1)先随机确定w1,…,wn,( (2)然后修改连接权值和门限值 (3)怎样修改：(wi=-( (4) =[-(d1-y1)f’((1)x1i-…-(dN-yN)f’((N)xNi] 单个感知器怎样学习，算法是相同的，不同之处在与去掉系数： (wi=-([-(d1-y1)x1i-…-(dN-yN)xNi] 单个感知器学习算法： 误差函数：E=[(d1-y1)2+(d2-y2)2+…+(dN-yN)2] (1)随机确定w1,…,wn,( (2)计算E，若E(，则停止。 (3)计算(wi，((，i=1,2,…,n。 (wi=-([-(d1-y1)x1i-…-(dN-yN)xNi] ((=-([(d1-y1)+…+(dN-yN)] (4)wi=wi+(wi，(=(+((。 (5)转(2)。 例子：与运算，样本如下： x1 x2 di 0 0 0 0 1 0 1 0 0 1 1 1 先随机取值：w1=0.5, w2=0.5, (=0.4。 f(0,0)=0; f(0,1)=1; f(1,0)=1；f(1,1)=1 (w1=-([-(d1-y1)x11-(d2-y2)x21-(d3-y3)x31-(d4-y4)x41] =-([-(0-0)0-(0-1)0-(0-1)1-(1-1)1]=-0.2*(1/4)(1)=-0.05；(w2=-([-(0-0)0-(0-1)1-(0-1)0-(1-1)1]=-0.05 ((=-([(0-0)*1+(0-1)*1+(0-1)*1+(1-1)*1]=-0.2*(1/4)(-2)=0.1 w1=0.45；w2=0.45；(=0.5 f(0,0)=0；f(0,1)=0；f(1,0)=0；f(1,1)=1。 还有一个问题，一般的感知器学习怎么办？有点办法，难度大了。 下面最好证明一个定理： 定理：若训练样本是线性可分的，则算法经过有限步一定会收敛。 *这个留着， 下面是BP算法：先要有网络结构： 讲清楚网络的连接权值是怎么标记的 门限值怎么标记， 给定样本：(Xp, dp)，Xp=(xp1,xp2,…,xpn)T，dp=(dp1,dp2,…,dpm)T 第t层第i个神经元当输入为Xp时的输出用表示，对应的受到作用力总和： 算法是怎样来的： (1)构造误差函数： E= 分析：若E=0，则显然w和(即为所求，若E0，则要修改w和(使E减小。怎样修改？梯度下降。 (wij=-( ((=-(