模式识别第三StatisticDiscriminant.pptVIP

* * * * * * * * * * * * * * * * * * * * * * * * * * * 这样，就得出最小风险与先验概率的关系曲线，如图所示： 讨论： 上式证明，所选的判别边界，使两类的概率相等： 这时可使最大可能的风险为最小，这时先验概率变化，其最大风险不变 迄今为止所讨论的分类问题，关于待分类样本的所有信息都是一次性提供的。但是，在许多实际问题中，观察实际上是序贯的。随着时间的推移可以得到越来越多的信息。 一种方法是计算停止损失和计算继续损失，在两者的临界点上得到分类决策。这种方法需要知道先验概率、决策损失以及观测每个新特征需要的代价。后来开发了一系列基于这种方法的快速算法。 3.2.2 序贯分类 假设对样品进行第 i 次观察获取一序列特征为：X=(x1,x2,…, xi )T 则对于ω1，ω2两类问题, 若X ∈ ω1，则判决完毕 若X∈ ω2 ，则判决完毕 若X不属ω1也不属ω2 ，则不能判决，进行第i+1次观察，得X=(x1,x2,…,xi,x i+1)T ，再重复上面的判决，直到所有的样品分类完毕为止。 这样做的好处是使那些在二类边界附近的样本不会因某种偶然的微小变化而误判，当然这是以多次观察为代价的。 另外一种是基于错误概率的序贯处理。 由最小错误概率的Bayes 判决，对于两类问题，似然比为 现在来确定A、B的值。 因为 序贯分类决策规则： 上下门限A、B是由设计给定的错误概率P1(e), P2(e)来确定的，Wald 已证明，观察次数不会很大，它收敛的很快。 3.2.3 分类器设计 （1）判别函数： （2）决策面方程： （3）分类器设计：(类似线性分类器多类第三种情况） 一、正态分布判别函数 1、为什么采用正态分布： a、正态分布在物理上是合理的、广泛的。 b、正态分布数学上简单，N(μ, σ 2) 只有均值和方差两个参数。 2、单变量正态分布： 3.3 正态分布模式的贝叶斯分类器 3、（多变量）多维正态分布 （1）函数形式： (2)、性质：①、μ与∑对分布起决定作用P(X)=N(μ, ∑), μ由n个分量组成，∑由n(n+1)/2元素组成。∴多维正态分布由n+n(n+1)/2个参数组成。 ②、等密度点的轨迹是一个超椭球面。区域中心由μ决定，区域形状由∑决定。 ③、不相关性等价于独立性。若xi与xj互不相关,则xi与xj一定独立。 ④、边缘分布和条件分布也是正态的。 ⑤ 、线性变换的正态性Y=AX，A为线性变换矩阵。若X为正态分布，则Y也是正态分布。 ⑥、线性组合的正态性。 判别函数：类条件概率密度用正态来表示： 二、最小错误率(Bayes)分类器：从最小错误率这个角度来分析Bayes 分类器 1.第一种情况：各个特征统计独立，且同方差情况。(最简单情况) 决策面方程： 判别函数： 最小距离分类器：未知x，找最近的μi把x归类 如果M类先验概率相等： 讨论： 未知x，把x与各类均值相减，把x归于最近一类。最小距离分类器。 2、第二种情况： 即各类协方差相等。 讨论：针对ω1，ω2二类情况，如图： 3、第三种情况(一般情况)：Σ?为任意，各类协方差矩阵不等，二次项xT Σ? x与i有关。所以判别函数为二次型函数。 3.4 贝叶斯分类器的错误概率 3.4.1 错误概率的概念 以两类问题为例， 错误分类的概率为 2、正态分布最小错误率(在正态分布情况下求最小错误率) 3.4.2 负对数似然比的概率分布 设模式向量分布为多变量正态密度函数，其协方差矩阵相等 要满足错误概率最小，则将x分到ωi时候，因该满足： 其中a就对应于阈值的对数 是x的函数，也为正态分布，所以其在ωi类的期望值 取 则 其在ωi内的方差 同样可推导在ωj内的期望值和方差，所以 3.4.3 贝叶斯分类器的错误概率与马氏距离的关系 来自ωj类的模式被错分到ωi类中的错误概率表示为： 来自ωi类的模式被错分到ωj类中的错误概率表示为： 其中 总错误概率为 若取θ＝1，则α＝0的特殊情况时 0 结论： （1）错分概率随着马氏距离增大而减小, (2) 马氏距离反映了两类模式的可分性，具有去除相关性表征两类间的平均距离。 3.4.4 错误率的上界 Chernoff界限 Bhattacharyya界限 3.1 3.2 3.3 作业 3.4 3.5 第三章 统计判别 3.1.贝叶斯判别原则 3.2.Bayes最小风险判别准则 3.3.聂曼－皮尔逊判别准则 3.