模式识别（2-1）贝叶斯决策理论.pptVIP

基于最小风险的贝叶斯决策 基于最小错误概率的决策方法：在分类时所作的判决(称之为决策)单纯取决于观测值x对各类(也称自然状态)的后验概率中之最大值，因而也就无法估计作出错误决策所带来的损失。 损失函数： 表示当真实状态为ωj而采取的决策为 时所到来的损失。 这里除了对c个类别有c种不同的决策外，还允许采取其他决策，如采取“拒绝”的决策，这时就有a=c+1。 如何使决策造成的损失最小？ 基于最小风险的贝叶斯决策 在采取决策 情况下的条件期望损失（条件风险）为： 期望风险R 最小风险贝叶斯决策规则 基于最小风险的贝叶斯决策 对一个病理切片x，要确定其中有没有癌细胞(用ω1表示正常，ω2表示异常)，则P(ω1 | x)与P(ω2 | x)分别表示了两种可能性的大小。 如果x确实是癌细胞(ω2)，但被判作正常(ω1)，则会有损失，这种损失用λ12表示， x确实是正常(ω1)，却被判定为异常(ω2)，则损失表示成λ21。 把 x 判作ω1引进的损失变成了一个加权和： 把 x 判作ω2引进的损失变成了一个加权和： 关键看哪种决策的风险最小？ 基于最小风险的贝叶斯决策 步骤： 基于最小风险的贝叶斯决策 例：某地区细胞识别； P(ω1)=0.9， P(ω2)=0.1 未知细胞x，先从类条件概率密度分布曲线上查到： P(x|ω1)=0.2， P(x|ω2)=0.4,并且已知λ11=0,(λ11表示λ(α1|ω1)的简写)，λ12=6,λ21=1，λ22=0 按最小风险贝叶斯决策进行分类。 解：利用贝叶斯公式，计算状态为x时ω1与ω2的后验概率: 基于最小风险的贝叶斯决策 （2）计算条件风险： “最小错误率”与“最小风险” 贝叶斯决策的关系 设损失函数为： 式中假定对c类只有c个决策，即不考虑“拒绝”等其它情况，上式表明，当作出正确决策(即i=j)时没有损失，而对于任何错误决策，其损失均为1。这样定义的损失函数称为0—1损失函数。 “最小错误率”与“最小风险” 贝叶斯决策的关系 计算条件风险： 最小错误率贝叶斯决策就是在0—1损失函数条件下的最小风险贝叶斯决策。 * ????????????? ?????????????? ???????????? ??????????? ????????????? ????????????? ????????????? ????????????? 模式识别第二章贝叶斯决策理论 §2.1 引言 1、 机器自动识别分类，能不能避免错分类，如汉字识别能不能做到百分之百正确？怎样才能减少错误？ 　 2、 错分类往往难以避免，因此就要考虑减小因错分类造成的危害损失，譬如对病理切片进行分析，有可能将正确切片误判为癌症切片，反过来也可能将癌症病人误判为正常人，这两种错误造成的损失一样吗？看来后一种错误更可怕，那么有没有可能对后一种错误严格控制？ §2.1 引言 模式识别的分类问题是根据识别对象特征的观察值将其分到某个类别中去。统计决策理论是处理模式分类问题的基本理论之一。 本章主要内容是说明分类识别中为什么会有错分类，在何种情况下会出现错分类？错分类的可能性会有多大？在理论上指明怎样才能使错分类最少？ 另一方面，错分类有不同情况，例如误将A错分为B类，或将B类错分为A类就是两种不同的错误。不同的错分类造成的危害是不同的，有的错分类种类造成的危害更大，因此控制这种错分类则是更重要的。为此引入了一种“风险”与“损失”概念，希望做到使风险最小。 §2.1 引言 要点： 要着重理解“风险”与“损失”的概念，以及在引入“风险”概念后的处理方法。 理解这一章的关键是要正确理解先验概率，类概率密度函数，后验概率这三种概率，对这三种概率的定义，相互关系要搞得清清楚楚。 Bayes公式正是体现这三者关系的式子，要透彻掌握。 §2.1 引言 本章讨论的内容在理论上有指导意义，代表了基于统计参数这一类的分类器设计方法，结合正态分布这一例子的目的是使分类器设计更加具体化。 学习这一章还要体会模式识别算法的设计都是强调 “最优”，即希望所设计的系统在性能上最优。这种最优是指对某一种设计原则讲的，这种原则称为准则。使这些准则达到最优，如最小错误率准则，基于最小风险准则等。 设计准则,并使该准则达到最优的条件是设计模式识别系统最基本的方法。 §2.1 引言 问题描述：已知总共有c类物体，待识别物体属于这c类中的一个类别；各类别ωi (i =1,2,…,c)的先验概率P(ωi)及类条件概率密度函数p(x|ωi)已知的条件