感知机学习规则.ppt

* * 4.2.2 感知机的概述 1943年,心理学家McCulloch和数学家Pitts提出了神经元的数学模型,称之为MP模型。 感知机是由美国计算机科学家罗森布拉特于1957年提出，其神经元结构就是MP模型： 感知机神经元是在MP模型基础上加上了学习功能，其权值可根据设计目的加以调节。 感知机特别适合简单的模式分类问题，可解决线性划分问题。 * * 感知机的网络结构 ▲ 一般感知机结构是一单层神经网络，其激活函数为二值函数： 图4-0 两种不同感知机网络表示方法 * * 感知机的图形解释 ▲ 神经元模型： * 任意一组参数W和b，在输入矢量空间中，可决定一条（超）直线或（超）平面等，在该直线或平面上方输出为1；在其下方输出为0； * * 据此，可将权值矩阵W重写为： 这样就可以将网络输出向量的第i个元素写成： * * 1.单神经元感知机 如图4-3所示的两个输入的单神经元感知机。该网 络的输出由下式所决定： 判定边界: 判定边界由那些使得净输入n为零的输入向量确定 * * 假定w11=w12=1，b=-1；所以判定边界为： * * * * 对于判定边界上的所有点而言，输入向量与权值向量的内积都是一样的。判定边界必须位于与权值向量正交的一条直线上。 在图4-4阴影区域中的任意输入向量都有着大于-b的内积，而无阴影区域中的输入向量则有小于-b的内积。 因此，权值向量1W总是指向神经元输出为1的区域。 * * 现在将运用上述一些概念设计出能够实现“与门”逻辑功能的感知机网络。与门的输入目标为： * * 这里选择一个与判定边界垂直的权值向量。 由于该权值向量可以是任意长度的向量，它 同样有无数可能的选择。这里选择： * * 最后，为了求解偏置值b可以从判定边界上选取一 个满足式（4.15）的点。如果选择P=[1.5 0]T,代入 式（4.15），有： * * 4.2.3 感知机的学习规则 如果第i个神经元的输出是正确的，即ai=ti，那么与第i个神经元连接的权值wij和偏差bi保持不变； 如果第i个神经元的输出是不正确的，则改变权值和偏差： a) 若ai=0, 但ti=1，则权值修正的算法： wnew=wold+pT , bi=bi+1 b) 若ai=1, 但ti=0，则权值修正的算法： wnew=wold-pT, bi=bi -1 ▲ 一点说明：在b)中，旧ni =Wi*P+b≥0, 但 新ni =(Wi -PT)*P+b=旧ni - PT*P旧ni * * ▲ 学习的统一表达式： 感知器修正权值公式： 分量表示： 矩阵表示：设E=T-A为误差矢量， or or ▲ 学习的收敛性：该算法属于梯度下降法，有解时收敛。 ▲ 工具箱中的调用函数：learnp.m, trainp.m dw=learnp([],p,[],[],[],[],e,[]) dB=learnp(b,ones(1,Q),[],[],[],[],e,[]) * * ▲ 例子 例4.1 设计一个感知器，对输入数据分成两类。 已知：输入矢量P=[-0.5 -0.5 0.3 0; -0.5 0.5 -0.5 1] 目标矢量T=[ 1.0 1.0 0 0] * * ? 分析：选择2-1型感知器，权矩阵W[1,2]，偏差B=w3，则