第三章 节 -统计模式识别中的概率分类法.ppt

第三章 统计模式识别中的概率分类法;3.1 引言 3.2 最小错误率判决规则 3.3 最小风险判决规则 3.4 最大似然比判决规则 3.5 Neyman-Pearsen判决规则 3.6 最小最大判决规则 3.7 分类器设计 3.8 正态分布时的统计决策 3.9 参数估计与非参数估计;;许多实际情况，即使在类型A的条件下，模式样本x位于区域A的概率也往往小于1，而位于区域B的概率也不为0。对于类型B的条件也一样。这种交错分布的样本使分类发生错误，是模式随机性的一种表现。此时，分类方法就从确定性模式转到随机模式。 “如何使分类错误率尽可能小，是研究各种分类方法的中心议题。” Bayes决策理论是随机模式分类方法最重要的基础。下面是几个重要的概念：;例1：为了对癌症进行诊断，对一批人进行一次普查，各每个人打试验针，观察反应，然后进行统计，规律如下： 这一批人中，每1000个人中有5个癌症病人； 这一批人中，每100个正常人中有一个试验呈阳性反应； 这一批人中，每100个癌症病人中有95人试验呈阳性反应。 问：若某人（甲）呈阳性反应，甲是否正常？;聂曼—皮尔逊判决规则的基本思想是：在一种错误率不变的条件下，使另一种错误率最小。 这是具有实际意义的，例如，在细胞的化验中，由于把异常细胞错判为正常细胞的风险较大，可以要求这种错判的错误率不大于某个指定的常数作为前提条件，使正常细胞错判为异常细胞的错误率尽可能小，以此为原则来选择判决门限t，这就是聂曼—皮尔逊判决规则的基本思想。;;所以此时聂曼——皮尔逊分类器的分界线为： ;使最大可能的平均风险为最小 但是b＝0又意味着由于类型区域的划分使平均风险达到曲线极值，如下图所示。此时 ， 为曲线的最大值。 即在训练过程中使平均风险达到最大值，恰好在分类判决中使最大可能的平均风险达到最小值，这就是最小最大判决规则的基本思想。 ;3.7 分类器设计;;3）分类器设计 功能：先设计出c个判别函数 ，再从中选出对应于判决函数为最大值的类作为决策结果。;3．两类情况 （1）判决函数 决策规则： 具体来说，可定义： ① ② ?? （2）决策面方程 也可以表示为： （3）分类器设计 通过计算，根据计算结果的符号将x分类。;3.8 正态分布决策理论 一、正态分布判别函数 1、为什么采用正态分布： a、正态分布在物理上是合理的、广泛的。 b、正态分布数学上简单，N(μ, σ 2) 只有均值和方差两个参数。 2、单变量正态分布： ;3、（多变量）多维正态分布 （1）函数形式：;(2)、性质： ①、μ与∑对分布起决定作用P(χ)=N(μ, ∑), μ由n个分量组成，∑由n(n+1)/2元素组成。∴多维正态分布由n+n(n+1)/2个参数组成。 ②、等密度点的轨迹是一个超椭球面。区域中心由μ决定，区域形状由∑决定。 ;③、不相关性等价于独立性。若xi与xj互不相关,则xi与xj一定独立。 不相关： 独立： ;⑤、线性变换的正态性Y=AX，A为线性变换矩阵。若X为正态分布，则Y也是正态分布。 ⑥ 、线性组合的正态性 其中，a与x同维。;判别函数：类条件概率密度用正态来表示：;二、最小错误率(Bayes)分类器：从最小错误率这个角度来分析Bayes 分类器 1.第一种情况：各个特征统计独立，且同方差情况。(最简单情况); ;最小距离分类器：未知x与μi相减，找最近的μi把x归类;;讨论：;未知x，把x与各类均值相减，把x归于最近一类。最小距离分类器。;;讨论：针对ω1，ω2二类情况，如图：;3、第三种情况(一般情况)：Σ?为任意，各类协方差矩阵不等，二次项xT Σ? x与i有关。所以判别函数为二次型函数。;;;3.12 参数估计与非参数估计;3.12.1 参数估计与监督学习 贝叶斯分类器中只要知道先验概率，条件概率或后验概 概率 P(ωi),P(x/ωi), P(ωi /x)就可以设计分类器了。现在 来研究如何用已知训练样本的信息去估计P(ωi),P(x/ωi), P(ωi /x) 一．参数估计与非参数估计 参数估计：先假定研究的问题具有某种数学模型，如 正态分布，二项分布，再用已知类别的学习 样本估计