第三章线性判别分析非参数判别分类方法-第二次课.pptVIP

第3章　线性判别分析 第三章 线性判别分析 —— 非参数判别分类方法  本章的思路：利用样本直接设计分类器, 可以避开各类的概率密度函数的估计, 其基本思想就是设定一组判别函数, 并利用样本直接计算判决函数中的有关参数。 　　 本章内容 3.1　线性判别函数 3.2　线性分类器 3.3　分段线性分类器 3.4　近邻分类器 总结 习题 3.1.1　线性判别函数的几何意义 　　线性判别函数的形式如下: 其中: wi 称为权向量; wi0 称为阈值权。 wi和wi0 的值需根据样本集来确定。 线性分类器设计的关键在于确定权向量wi和阈值权wi0。 3.1　线性判别函数 　　1. 两类问题的讨论 　　在两类情况下, 判决函数具有简单的形式:  　　若　　　　　　, 则判决　　　（或）ω2； 　　若　　　　　　, 则判决　　　（或）ω１； 　　若　　　　　　, 则不作判决或作任意判决, 即可判成ω１、 ω2中的任意一类。 　 　两类判决区域的分界面为 其几何意义为d维欧几里德空间中的一个超平面。 　　(1) w是超平面的法向量。 　　对于两类分类问题, 线性判决函数的几何意义在于利用一个超平面实现对特征空间Rd的划分。 若以H表示超平面, 则对H上的任意两点x1、x2有 w和H上任一向量正交, 即w是超平面H的法向量。 超平面示意图 如果取最大判决, w指向R1, R1中的点在H的正侧。 R2中的点在H的负侧。 　g(x)是x到超平面距离的一种代数距离。 (2) 当x=0时, g(x)=w0, 即原点到超平面的代数距离为 若w00, 则原点在超平面的正侧; 若w00, 则原点在超平面的负侧; 若w0=0, 则超平面通过原点。 结论： 对于两类情形, 利用线性函数进行分类, 实质上就是用一个超平面H把Rd分成两个决策区域； H的方向由权向量w确定, 它的位置由阈值权w0确定； 判别函数g(x)正比于x点到H的代数距离； 当x在H的正侧时, g(x)0; 在负侧时, g(x)0。 　　2. 多类问题的讨论 　　所谓多类问题, 是指类别数m≥3的情形。多类情况下可以按下述三种方法进行划分。  　　(1) 任意两个模式类之间分别用单个超平面分开。 对于m类中的任意两类: ωi、ωj, i≠j, 可以确定一个超平面Hij, 能把ωi和ωj两类分开, 两类各占Hij的一侧。显然, 对于m类的判决问题, 最多需要确定的超平面个数为 三类问题的情况 Hij的方程为 其中, ij, i, j=1, 2, …, m。 gij(x)判决准则为： 对于3类问题, 可用3个超平面: g12(x)=0, g13(x)=0和g23(x)=0 把ω1、 ω2、 ω3分开。 【例】一个三类问题, 三个判决函数为 请画出各类判决区域, 并判断 x=(x1, x2)T=(4, 3)T属于哪一类。 解　各类的判决区域如图所示, 在三条分界线相交组成的三角形区域内的样本无法判决所属类别, 该区域称为不确定区域(IR)。 　　对于x=(x1, x2)T=(4, 3)T, 代入判决函数可得 所以判断x∈ω3。 　　(2) 每一模式类与其他模式类之间用单个超平面分开。 对于m类的判决问题, 可以确定m个超平面, 它的判决函数为 gi(x)判决准则为 若　　　　　　　, 使gk(x)0, gj(x)0(j≠k, j∈{1, 2, …, m}), 则判断x∈ωk。 此时特征空间中还可能存在不确定区域, 如图中g1(x)0, g2(x)0, g3(x)0确定的区域, 在这个区域中的样本不属于任何一类。 图中每一类都用一个简单的直线将它与其他模式类分开, 例如x∈ω1的样本, 同时满足下面三个条件 , , 单个的g1(x)0条件只能区分属于ω1和不属于ω1。 【例 】一个三类问题, 三个判决函数为 请画出各类判决区域, 并判断 x=(x1, x2)T=(6, 5)T属于哪一类。 解 各类的判决区域如图所示, IR1、 IR2、 IR3、IR4区域内样本无法分类。 1 　　对于x=(x1, x2)T=(6, 5)T, 代入判决函数可得g1(x)=－1, g2(x)=6, g3(x)=－4, 所以x∈ω2。  1 每一类具有一个判决函数的情况 (3) 每一模式类都有一个判别函数。 对于m类的判决问题, 可以确定m个超平面, 它的判决函数为 判决准