哈尔滨工业大学-模式识别课程-4．线性判别函数(I)2学时.pptVIP

【 感知准则函数】 梯度下降法 最小平方误差准则函数 【最小平方误差准则函数】 基本思想 【最小平方误差准则函数】 基本思想 多类问题 若存在i，使得gi(x)0， gj(x)0，j≠i，则判别x属于ωi类； 其它情况，拒识。 每一类模式可以用一个超平面与其它类别分开； 这种情况可以把c个类别的多类问题分解为c个两类问题解决，需要c个线性分类界面； 第i类与其它类别之间的判别函数： 【多类问题】 【多类问题】 c个类别需要c个线性函数： 判别准则： §4.1.1 概念的提出 （1）定义：也称为多级分类器，是模式识别中进行分类的一种有效方法。将复杂的多分类问题转化为若干个简单分类问题来解决。 （2）决策树的设计 （a）选择一个合适的树结构，合理安排树的节点和分支； （b）确定每个节点的使用的特征； （c）每个节点上的决策准则。 【决策树】 本章结束 此处应为一个图，表示典型的学习图像特征提取与分类算法的基本思路； 利用不同的目标函数，求出W 使得提取的特征具有良好的区分度 还要强调一点 提取特征的主要技术指标为 特征的区分度 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * Ambiguous region：模糊区域或拒识区域 哈尔滨工业大学 主讲人：李君宝 第4章 线性判别函数(I) 线性判别函数的基本概念 Fisher线性判别准则函数 感知准则函数 最小平方误差准则函数 多类问题 线性判别函数基本概念 （1）贝叶斯决策理论： ：类条件概率密度。在实际应用中，表示每一类样 本的概率密度函数。 ：先验概率。表示全部样本中，每一类样本的概率。 ：样本的概率联合概率密度，在两类情况下， 【概念的提出】 §4.1.1 概念的提出 （2）存在问题： (a) 在实际应用中，样本特征空间的类条件概率密度的形式很难确定； (b) 利用前面所讲的非参数估计方法需要大量的样本且随着特征空间维数的增加所需样本数量急剧增加，在实际的应用中可行性差。 （3）解决的方法： 利用样本集直接设计分类器，给定某个判别函数类，利用样本集确定判别函数中的未知参数，最后用参数确定的判别函数进行分类。 【概念的提出】 §4.1.1 概念的提出 【线性判别函数】 定义 §4.1.1 概念的提出 【线性判别函数】 分类决策 §4.1.1 概念的提出 【线性判别函数】 分析 §4.1.1 概念的提出 【线性判别函数】 分析 说明：判别函数g(x)正比于任意一点x到超平面的代数距离。 结论： 1.判别函数g(x)值正比于任意一点x到超平面的代数距离（带正负号）； 2.当点x位于超平面的正侧时， g(x)0 ；负侧时， g(x)0 。 3.利用线性判别函数进行分类决策时，就是利用一个超平面将特征空间分割成两个决策域。 4.超平面方向由w方向决定。 【线性判别函数】 x o x x x x x x o o o o o o x x x o o o 线性 o x x x o x x x x x o o o o o o o x o x x 非线性 决策面 【广义线性判别函数】 线性判别函数虽然很简单，但局限性较大，不适用多连通区域的划分问题。例如下图所示： w1 w1 w2 x g(x) b a 线性判别函数不可分问题 【广义线性判别函数】 w1 w1 w2 x g(x) b a §4.1.3 广义线性判别函数 非线性判别函数可分 【广义线性判别函数】 §4.1.3 广义线性判别函数 【广义线性判别函数】 基本步骤： 【线性分类器设计】 基本思路 第1步：采集具有类别标志的样本集； 第2步：根据实际情况确定一个准则函数J,该函数满足： (1) J是样本集X和w，b的函数； (2) J的值反映分类器的性能，其极值解对应于“最优”决策； 第3步：利用最优化技术求解准则函数的极值解w*和b*。 第4步：建立最优线性判别函数 第5步：对于未知样本 ，计算 ,然后利用决策规则判别类别。 基本步骤： 【线性分类器设计】 基本步骤 典型的应用系统框架 训练 根据准则函数训练最优权向量W 输入训练样本集x1,x2,…,xN 分类 y=Wx yi=Wxi 测试样本x 输入训练样本特征y1,y2,…,yN 输出分类结果 测试样本特征y §4.1.4 线性判别分类器 【应用】 x o x x x x x x o o o o o o o o o x x x x o x x x x x x o o o o o o o y x x x o o o x y=Wx o x x x o x x x x x x o o o o