感知器准则函数.pptVIP

感知器准则函数 对于任何一个增广权向量a ， 对样本y正确分类，则有：aTy0 对样本y错误分类，则有：aTy0 定义一准则函数JP(a) (感知准则函数)： 梯度下降算法 梯度下降算法：对(迭代)向量沿某函数的负梯度方向修正，可较快到达该函数极小值。 算法(step by step) 梯度下降算法计算实例 有两类的二维数据，其中第一类的两个样本为(1,4) t和(2,3) t，第二类的两个样本为(3,2) t和(4,1) t。假设初始的a=(0,1,0) t，n(k)=1利用批处理感知器算法求解线性判别函数g(y)=aty的权向量a。 首先对每个样本增加一维为增广样本。然后规范化第二类的样本为：(-3,-2,-1) t和(-4,-1,-1) t。 梯度下降算法计算实例 计算错分的样本集： g(y1)=(0,1,0)(1,4,1) t=4（正确） g(y2)=(0,1,0)(2,3,1) t=3（正确） g(y3)=(0,1,0)(-3,-2,-1) t=-2（错分） g(y4)=(0,1,0)(-4,-1,-1) t=-1（错分） 对错分的样本集求和： (-3,-2,-1) t+(-4,-1,-1) t =(-7,-3,-2) t 修正权向量a： a= (0,1,0) t +(-7,-3,-2) t= (-7,-2,-2) t 再计算错分的样本集： g(y1)=(-7,-2,-2)(1,4,1) t=-17 （错分） g(y2)=(-7,-2,-2)(2,3,1) t=-22 （错分） g(y3)=(-7,-2,-2)(-3,-2,-1) t=27 （正确） g(y4)=(-7,-2,-2)(-4,-1,-1) t=32 （正确） 对错分的样本集求和： (1,4,1) t+(2,3,1) t =(3,7,2) t 修正权向量a： a= (-7,-2,-2) t +(3,7,2) t= (-4,5,0) t 再计算错分的样本集： g(y1)=(-4,5,0)(1,4,1) t=16 （正确） g(y2)=(-4,5,0)(2,3,1) t=7 （正确） g(y3)=(-4,5,0)(-3,-2,-1) t=2 （正确） g(y4)=(-4,5,0)(-4,-1,-1) t=11 （正确） 全部样本正确分类，算法结束 a=(-4,5,0) t。 * * 感知器准则 被错分类的规范化增广样本集 恒有JP(a)≥0，且仅当a为解向量，Yk为空集（不存在错分样本）时， JP(a)=0，即达到极小值。确定向量a的问题变为对JP(a)求极小值的问题。 感知器准则 感知器准则 1. 初值: 任意给定一向量初始值a(1) 2. 迭代: 第k+1次迭代时的权向量a(k+1)等于第k次的权向量a(k)加上被错分类的所有样本之和与rk的乘积 3. 终止: 对所有样本正确分类 任意给定一向量初始值a(1) a(k+1)=a(k)+ rk×Sum(被错分类的所有样本) 所有样本正确分类 得到合理的a完成分类器设计 N Y *