w1x__模式识别原理.ppt

第三章 判别函数 第三章 判别函数 3.1 线性判别函数 3.2 广义线性判别函数 3.3 分段线性判别函数 3.4 模式空间和权空间 3.5 感知器算法 3.6 采用感知器算法的多类模式的分类 3.7 势函数法 — 一种确定性的非线性分类算法 3.1 线性判别函数 3.1.1 用判别函数分类的概念 模式识别系统的主要作用 判别各个模式所属的类别 对一个两类问题的判别，就是将模式x划分成ω1和ω2两类。 3.1 线性判别函数 3.1.1 用判别函数分类的概念 [描述：两类问题的判别函数] 3.1 线性判别函数 3.1.1 用判别函数分类的概念 用判别函数进行模式分类依赖的两个因素 （1）判别函数的几何性质：线性的和非线性的函数。 线性的是一条直线； 非线性的可以是曲线、折线等； 线性判别函数建立起来比较简单（实际应用较多）； 非线性判别函数建立起来比较复杂。 （2）判别函数的系数：判别函数的形式确定后，主要就是确定判别函数的系数问题。 只要被研究的模式是可分的，就能用给定的模式样本集来确定判别函数的系数。 3.1 线性判别函数 3.1.2 线性判别函数 [n维线性判别函数的一般形式] 权向量 增广模式向量 增广权向量 分类问题 [两类情况：判别函数d(x)] 多类情况：设模式可分成ω1, ω2,…, ωM共M类，则有三种划分方法 多类情况1 多类情况2 多类情况3 3.1 线性判别函数 3.1.2 线性判别函数 分类问题 [多类情况1] [判别函数] [图例] [例子] 3.1 线性判别函数 3.1.2 线性判别函数 分类问题 [多类情况2] [判别函数] [图例] [例子] 3.1 线性判别函数 3.1.2 线性判别函数 分类问题 [多类情况3] [判别函数] [图例] [例子] 3.1 线性判别函数 3.1.2 线性判别函数 线性可分 模式分类如可用任一个线性函数来划分，则这些模式就称为线性可分的，否则就是非线性可分的。 一旦线性函数的系数wk被确定，这些函数就可用作模式分类的基础。 3.1 线性判别函数 3.1.2 线性判别函数 多类情况1和多类情况2的比较 对于M类模式的分类，多类情况1需要M个判别函数，而多类情况2需要M*(M-1)/2个判别函数，当M较大时，后者需要更多的判别式（这是多类情况2的一个缺点）。 采用多类情况1时，每一个判别函数都要把一种类别的模式与其余M-1种类别的模式分开，而不是将一种类别的模式仅于另一种类别的模式分开。 由于一种模式的分布要比M-1种模式的分布更为聚集，因此多类情况2对模式是线性可分的可能性比多类情况1更大一些（这是多类情况2的一个优点）。 作业（1） 在一个10类的模式识别问题中，有3类单独满足多类情况1，其余的类别满足多类情况2。问该模式识别问题所需判别函数的最少数目是多少？ 作业（2） 一个三类问题，其判别函数如下： d1(x)=-x1, d2(x)=x1+x2-1, d3(x)=x1-x2-1 设这些函数是在多类情况1条件下确定的，绘出其判别界面和每一个模式类别的区域。 设为多类情况2，并使：d12(x)= d1(x), d13(x)= d2(x), d23(x)= d3(x)。绘出其判别界面和多类情况2的区域。 设d1(x), d2(x)和d3(x)是在多类情况3的条件下确定的，绘出其判别界面和每类的区域。 3.2 广义线性判别函数 出发点 线性判别函数简单，容易实现； 非线性判别函数复杂，不容易实现； 若能将非线性判别函数转换为线性判别函数，则有利于模式分类的实现。 3.2 广义线性判别函数 基本思想 设有一个训练用的模式集{x}，在模式空间x中线性不可分，但在模式空间x*中线性可分，其中x*的各个分量是x的单值实函数，x*的维数k高于x的维数n，即若取 x* = (f1(x), f2(x), …., fk(x)), kn 则分类界面在x*中是线性的，在x中是非线性的，此时只要将模式x进行非线性变换，使之变换后得到维数更高的模式x*，就可以用线性判别函数来进行分类。 [描述] 3.2 广义线性判别函数 广义线性判别函数的意义 [线性的判别函数] [fi(x)选用二次多项式函数] [x是二维的情况] [x是n维的情况] [fi(x)选用r次多项式函数， x是n维的情况] [例子] [d(x)的总项数] 说明 d(x)的项数随r和n的增加会迅速增大，即使原来模式x的维数不高，若采用次数r较高的多项式来变换，也会使变换后的模式x*的维数很高，给分类带来很大困难。 实际情况可只取r=2，或只选多项式的一部分，例如r=2时只取二次项，略去一次项，以减少x*的维数。 3.2 广义线性判别函数 [例子：一维样本空间 -〉二维样本空间] 3.3 分