[理学]4线性判别函数.ppt

4.7 讨论 基于样本的直接确定判别函数方法主要包含两个步骤： 确定使用的判别函数类型或决策面方程类型，如线性分类器，分段线性分类器等 在选定函数类型的条件下，确定相应的参数，从而完成整个分类器设计 线性判别函数计算简单，在一定条件下能实现最优分类，经常是一种“有限合理”的选择 分段线性分类器可以实现更复杂的分类面 习题 有一个三次判别函数：z=g(x)=x3+2x2+3x+4。试建立一映射x→y，使得z转化为y的线性判别函数。 证明决策面H：wTx+w0=0的系数向量w是决策面H的法向量 设五维空间的线性方程为55x1+68x2+32x3+16x4+26x5+10 =0，试求出其权向量与样本向量点积的表达式wTx+w0=0中的w，x以及增广权向量与增广样本向量形式aTy中的a与y 设在三维空间中一个类别分类问题拟采用二次曲面。如欲采用广义线性方程求解，试问其广义样本向量与广义权向量的表达式，其维数是多少？ * 简单证明后两点 W的方向决定分类界面，长度与分类界面无关，只与偏置大小有关。 * JN(a) = ∑y€Y1，Y是被a错分的样本集合 * η(k)的取法： η(k)=1， η(k)=1/k * 可以结合“口袋算法”改进，依据概率收敛。 * 这是一个比线性不等式组更强的条件，当n=d+1时可以直接求解，但通常nd+1，需要采用伪逆的方法求解 Y的一行是样本的转置 * 此算法由Widrow 和 Hoff提出，也称为Widrow-Hoff算法。 * 书第201页有一个小例子说明第4点 权矢量的解 只有当样本集线性可分的条件下，解才存在； 线性不等式组的解是不唯一； 4.5 感知器准则 感知器准则是五十年代由Rosenblatt提出的一种自学习判别函数生成方法，由于Rosenblatt企图将其用于脑模型感知器(Perceptron)，因此被称为感知准则函数。其特点是随意确定的判别函数初始值，在对样本分类训练过程中逐步修正直至最终确定。 基本概念 感知器：Perceptron，Rosenblatt 线性可分性：训练样本集中的两类样本在特征空间可以用一个线性分界面正确无误地分开。在线性可分条件下，对合适的(广义)权向量a应有： 规范化样本向量 ：将第二类样本取其反向向量 感知器 * 感知器准则函数 对于任何一个增广权向量a ， 对样本y正确分类，则有：aTy0 对样本y错误分类，则有：aTy0 定义一准则函数JP(a) (感知准则函数)： 被错分类的规范化增广样本集 恒有JP(a)≥0，且仅当a为解向量，Yk为空集（不存在错分样本）时， JP(a)=0，即达到极小值。确定向量a的问题变为对JP(a)求极小值的问题。 感知器 梯度下降算法 梯度下降算法：对(迭代)向量沿某函数的负梯度方向修正，可较快到达该函数极小值。 感知器 感知器算法的思想 感知器算法 初始化，置W(1)中的元素为一个小的随机数； 在第k步学习训练样本Xk，按照如下公式修正权值W： 重复第2步，直到所有训练样本被正确识别。 感知器算法(Perceptron) 最直观的准则函数定义是最少错分样本数准则： JN(a) = 样本集合中被错误分类的样本数； 感知器准则 以错分样本到判别界面距离之和作为准则： 算法(step by step) 1. 初值: 任意给定一向量初始值a1 2. 迭代: 第k+1次迭代时的权向量ak+1等于第k次的权向量ak加上被错分类的所有样本之和与rk的乘积 3. 终止: 对所有样本正确分类 任意给定一向量初始值a1 ak+1= ak+ rk×Sum(被错分类的所有样本) 所有样本正确分类 得到合理的a完成分类器设计 N Y 感知器 感知器方法例解 固定增量法与可变增量法 批量样本修正法与单样本修正法 单样本修正法：样本集视为不断重复出现的序列，逐个样本检查，修正权向量 批量样本修正法：样本成批或全部检查后，修正权向量 感知器 感知器算法(批量调整版本) begin initialize , ,θ, k?0 do k?k+1 until return a end 感知器算法(单样本调整版本) begin initialize , k?0 do k?(k+1)mod n if yk is misclassified by a then until all patterns properly classified return a end 感知器方法小结 感知准则函数方法的思路是：先随意找一个初始向量a1，然后用训练样本集中的每个样本来计算。若发现一个y出现aTy0，则只要ak+