第2章线性判别函数.pptVIP

线性判别函数和决策面

感知准则函数和梯度下降法

固定增量法及其收敛性

最小平方误差准则函数

多类情况下的线性判别函数

分段线性判别函数

Fisher线性判别函数

支持向量机

;2.1线性判别函数和决策面;1.问题与解决思路

问题：

设有由N个待分类的两类别模式组成的一个样本集，

如何实现对样本集中的两类样本分类？

;在一般情况下样本在特征空间的分布情况：

;二维三类别模式的例子

;可以看出:

不同类别的典型样本在特征空间中明显处于不同的区域。

表明:

由于相同类别的模式具有相似或相近的特征，因而一类模式在特征空间中的某一区域分布，而另一类则在另外区域分布。;

我们可以得到启发:

用已知类别的模式样本产生一个代数表示的分界面，将特征空间分成两个互不重叠的区域，使不同类别的模式样本位于不同的区域，再用作为判别函数，对待识别的模式进行分类。

在特征空间可看作一个决策面。;归纳解决问题的思路:

(1)分类问题特征空间的分布寻找子区域的分界面确定判别函数

(2)待识别模式判别函数分类

解决方法？;判别函数可以有多种形式，哪种形式最简单呢？

线性函数

在二维空间是一条直线；在三维空间是一个平面；在高维空间也是一个平面，由于是非直观的，称为超平面。;线性判别函数是所有模式特征的线性组合。

或

式中是特征的系数，称为权，称为阈值权。

用什么方法来确定呢？

;

;线性判别函数可以写成：

参数决定了的方向和位置

;如何根据已知样本确定？

由于要用对两类样本在特征空间正确划分两类模式的区域，我们可以假定一个规则：

当样本为一个类别时，使

当样本为另一个类别时，使;

对全部样本都按这个规则来做，不满足时，调整，最终可以找到一个，使全部样本都满足这个规则。

这个过程称为训练学习，已知类别的样本称为训练样??。

用训练学习的方法确定线性判别函数。

如何训练学习？;3.线性判别函数的一般表示

对于n维模式向量，其线性判别函数是所有模式特征的线性组合，即

可以写成

其中，称为权向量。;4.在向量空间的几何表示

取作为决策面。

如果两个向量和都在决策面上，则有：

或写成

由于和是决策面上的任意两点，所以

也是在决策面上的任意向量。

表明了什么？

;

两个n维向量相互正交的充要条件是两向量的内积为零。即

所以,表明:

权向量和决策面上的任一向量正交。所以权向量的方向就是决策面的法线方向。

;在两维模式下，决策面把模式空间分成两个子空间，分别是对类的决策域和对类的决策域。

如果我们规定：在中，；在中，，决策面的法向量的方向指向。

;;

我们可以把向量表示为：

待求的距离

决策面上一点

与有什么样的关系?

;则有：

或

判别函数值是到决策面的距离的度量。

;同理，可以得出：

从原点到决策面的距离为。

如果，原点在的正面；

如果