神经网络与——感知机 .pptVIP

——感知机 大脑是由生物神经元构成的巨型网络，它在本质上不同于计算机，是一种大规模的并行处理系统，它具有学习、联想记忆、综合等能力，并有巧妙的信息处理方法。 人工神经网络是模拟人脑思维方式的数学模型，从微观结构和功能上对人脑进行抽象和简化，模拟人类智能。人工神经网络(简称神经网络)也是由大量的、功能比较简单的形式神经元互相连接而构成的复杂网络系统，用它可以模拟大脑的许多基本功能和简单的思维方式。 我们不可能对生物学上的神经网络作完全的了解，只可能在某种成度上描述我们所了解的情况。同样，人工神经网络也只可能是在某种程度上对真实的神经网络的一种模拟和逼近。 神经元模型 生物神经元模型 神经元neuron,neural cell也就是神经细胞。人脑就是由大量神经元组合而成的。 神经元由 细胞体、树突和轴突组成。 中心 接受器 传导信息 人工神经元模型，如图所示 某个神经元 j 的输入—输出关系为其中， 为阀值， 为连接权，f(?)为变换函数，也称活化函数(activation function)。  我们以单层感知器来说明： 两个输入 x1 和 x2 。 一个阀值 θ 两个待调整的权值W1和W2 决策函数为 样本集分别属于2类。 设有N个训练样本 当给定某个样本p的输入/输出模式对时，感知机输出单元会产生一个实际输出向量，用期望输出（样本输出）与实际输出之差来修正网络连接权值。 权值修改采用简单的误差学习规则 基本思想： 利用某个神经单元的期望输出与实际输出之间的差来调整该神经单元与上一层中相应神经单元的的连接权值，最终减小这种偏差。 即：神经单元之间连接权的变化正比于输出单元期望输出与实际的输出之差 对于所有的i和j，i＝l，2，…，s；j＝1，2，…，r，感知器修正权值公式为： 输入矢量P，输出矢量Y，目标矢量为T的感知器网络，其学习规则为： 如果第i个神经元的输出是正确的，即有：yi＝ti，那么与第i个神经元联接的权值wij和偏差值bi保持不变； 如果第i个神经元的输出是0，但期望输出为1，即有yi＝0，而ti＝1，此时权值修正算法为：新的权值wij为旧的权值wij加上输入矢量pj；类似的，新的偏差bi为旧偏差bi加上它的输入1； 如果第i个神经元的输出为1，但期望输出为0，即有yi＝1，而ti＝0，此时权值修正算法为：新的权值wij等于旧的权值wij减去输入矢量pj；类似的，新的偏差bi为旧偏差bi减去1。 感知器学习规则的实质为：权值的变化量等于正负输入矢量。 调整权值和阈值 由ei(t)=|di-yi(t)| e(t)=(1,1,1,0) 求E(t)＝=3 ,设η＝0.5 w1(t+1)=w1(t)+η∑(|di-yi(t)|×x1’) =0+0.5×(1,1,1,0)×(0,0,1,1)’=0.5; w2(t+1)=w2(t)+η∑(|di-yi(t)|×x2’) =0+0.5×(1,1,1,0)×(0,1,0,1)’=0.5; θ(t+1)= θ(t)+( E(t))2=0+9=9; 由此w1=0.5,w2=0.5, θ=9; 返回重新计算，直到E满足要求。 err_goal=0.001;lr=0.9; max_expoch=10000; X=[0 0 1 1;0 1 0 1];T=[0 0 0 1]; [M,N]=size(X);[L,N]=size(T); Wij=rand(L,M);y=0;b=rand(L); for epoch=1:max_expoch NETi=Wij*X; for j=1:N for i=1:L if(NETi(i,j)=b(i)) y(i,j)=1; else y(i,j)=0; end end end ３）分别计算感知机在ui作用下的输出yi　； 　　　　 t指第t次计算并调整权值。 　　　　 ４）调整权值和阈值 （1）求ei(t)=di-yi(t) （2）求E(t)＝若E(t) ≠0，调整权值; wj(t+1)=wj(t)+η∑([di-yi(t)]xji)，写出矩阵为W(t+1)=W(t)+ η∑([di-yi(t)]ui); θ(t+1)= θ(t)+( E(t))2 返回3 若E(t)满足要求则结束。 η ：训练步长，一般0η1 ，η大收敛快，易振荡， η小，收敛慢，不易振荡 %沿用例“求与”第二阶段工作期，验证网络