第2课判别函数.....pptVIP

第二章 判别函数 § 2-1、判别函数 § 2-2、线性判别函数 § 2-3、线性判别函数的性质 § 2-4、广义线性判别函数 § 2-2 线性判别函数 我们现在对两类问题和多类问题分别进行讨论。 (一)两类问题 即: 1. 二维情况 ：取两个特征向量 这种情况下 判别函数: 2. n维情况 现抽取n个特征为： 判别函数： 另外一种表示方法： (二) 多类问题 例：已知三类ω1,ω2,ω3的判别函数分别为： 因此三个判别边界为： 问当x=(x1,x2)T=(6,5)T时属于那一类 结论： g1(x) 0 ， g2(x) 0 ， g3(x) 0所以它属于ω2类 判别函数： 判别边界： 判别条件： 问:未知模式X=(x1,x2)T=(4,3)T属于那一类 代入判别函数可得: 把下标对换可得: 因为 结论：所以X 属于ω3类 3。第三种情况 判别函数： 判别规则： 判别边界： gi(x) =gj(x) 或gi(x) -gj(x) =0 就是说，要判别模式X属于那一类，先把X代入M个判别函数中，判别函数最大的那个类别就是X所属类别。 类与 类之间的边界可由 gi(x) =gj(x) 或gi(x) -gj(x) =0来确定。 §2-3、线性判别函数的性质 1、模式空间与加权空间 模式空间：由 构成的n维欧氏空间。 W是此空间的加权向量，它决定模式的分界面H，W与H正交。 加权空间：以 为变量构成的欧氏空间 模式空间与加权空间的几何表示如下图： 在三维空间里，令w3 = 0 则为二维加权空间如图： 给定一个模式X，就决定一条直线： 即分界面H，W与H正交，W称为解向量。 解向量的变动范围称为解区。 因x1,x2∈ω1， x3,x4∈ω2由图可见x1,x3离的最近，所以分界面H可以是x1,x3之间的任一直线，由垂直于这些直线的W就构成解区，解区为一扇形平面，即阴影区域。 如右图: g(x)=WTX=0决定一个决策界面，当g(x)为线性时，这个决策界面便是一个超平面H，并有以下性质： 性质①：W与H正交（如图所示） 假设x1,x2是H上的两个向量 所以 W 与(x1-x2) 垂直，即W与H正交。 一般说，超平面H把特征空间分成两个半空间。即Ω1,Ω2空间，当x在Ω1空间时g(x)0,W指向Ω1，为H的正侧，反之为H的负侧. §2-4、广义线性判别函数 1、模式空间与加权空间（续） 2、解向量和解区 把不等式方程正规化： 正规化： 2、解向量的解区（续） 3、超平面的几何性质 Ω1 Ω2 g(x)0 g(x)0 3、超平面的几何性质 矢量到H的正交投影 与 值成正比 其中： x p： x在H 的投影向量， r是x 到H 的垂直距离。 是W方向的单位向量。 3、超平面的几何性质（续） 性质 ②： 另一方面: 3、超平面的几何性质（续） 这是超平面的第二个性质，矢量x到超平面的正交投影 正比与g(x)的函数值。 性质③： 3、超平面的几何性质（续） 性质④： 3、超平面的几何性质（续） 一组模式样本不一定是线性可分的，所以需要研究线性分类能力的方法，对任何容量为N的样本集，线性可分的概率多大呢？ （如下图（a），线性不可分） 例：4个样本有几种分法。 图（b）①直线把x1分开，每条直线可把4个样本分成ω1 ω2 类，4个样本分成二类的总的可能的分法为24=16种，其中有二种是不能用线性分类实现的线性可分的是14。即概率为14/16。 4。二分法能力 （a） x1 x2 x3 x4 ⑥ ③ ② ④ ⑤ ⑦ （b） 结论：N个样品线性可分数目(条件：样本分布良好）： 4。二分法能力（续） 对N和n各种组合的D(N,n)值，表示在下表中，从表中可看出，当N，n缓慢增加时D(N,n)却增加很快。 32 32 32 30 22 10 5 16 16 16 16 14 8 4 8 8 8 8 8 6 3 4 4 4 4 4 4 2 2 2 2 2 2 2 1 6 5 4 3 2 1 4。二分法能力（续） 线性可分概率： 把上式用曲线表示成下图：图中横坐标用λ=N/n+1表示。 由图讨论： 4。二分法能力（续） 结论：在实际工作中，分类的训练非常重要，由已知样本来训练。因为已知样本有限，而未知样本无限。选择已