第二章 贝叶斯决策 part1.pptVIP

贝叶斯决策理论 刘芳，戚玉涛 qi_yutao@163.com 引言 机器自动识别分类，能不能避免错分类，做到百分之百正确？怎样才能减少错误？ 错分类往往难以避免，因此就要考虑减小因错分类造成的危害损失，那么有没有可能对危害大的错误严格控制？ 什么是先验概率、类概率密度函数和后验概率？它们的定义和相互关系如何?贝叶斯公式正是体现三者关系的式子。 引言 模式识别是一种分类（Classify）问题，,即根据识别对象所呈现的观察值（模式），将其分到某个类别中去。 贝叶斯统计决策理论是处理模式分类问题的基本理论之一，对模式分析和分类器（Classifier）的设计起指导作用。 贝叶斯决策的两个要求： 各个类别的总体概率分布是已知的 要决策分类的类别数是一定的 引言 在连续情况下，假设对要识别的物理对象有d种特征观察量x1,x2,…xd，这些特征的所有可能的取值范围构成了d维特征空间。 称向量 假设要研究的分类问题有c个类别，类别空间表示为： 引言 评价决策有多种标准，对于同一个问题，采用不同的标准会得到不同意义下“最优”的决策。 Bayes决策常用的准则： 最小错误率准则 最小风险准则 在限定一类错误率条件下使另一类错误率为最小 的准则 最小最大决策准则 最小错误率准则 最小错误率准则 先验概率： 类条件概率： 后验概率： 贝叶斯公式 最小错误率准则 例：医生要根据病人血液中白细胞的浓度来判断病人是否患血液病。 两类识别问题：患病，未患病 根据医学知识和以往的经验，医生知道： 患病的人，白细胞的浓度服从均值2000方差1000的正态分布；未患病的人，白细胞的浓度服从均值7000，方差3000的正态分布；（类条件概率） 一般人群中，患病的人数比例为0.5%；（先验概率） 一个人的白细胞浓度时3100，医生应该做出怎样的判断？（后验概率？） 最小错误率准则 数学表示： Ω：表示类别这一随机变量 ω1：表示患病 ω2：表示不患病 X：表示白细胞浓度这一随机变量 x：表示白细胞浓度值 最小错误率准则 医生根据已经掌握的知识知道类别的先验分布： 最小错误率准则 观测数据白细胞浓度分别在两种情况下的类条件概率分布： 最小错误率准则 最小错误率的贝叶斯决策规则为： 如果 大于 ，则把x归于患病状态，反之则归于未患病状态。（最大后验概率决策） 最小错误率准则 错误率：平均错误率，记为P(e) 最小错误率准则 最小错误率准则 最小错误率准则 似然比公式 最小错误率准则 形式逻辑（经典确定性推理） 以鲈鱼和鲑鱼分类为例： 假言：如果鱼的长度 大于45m，则该鱼为 鲈鱼 ，否则该鱼为鲑鱼 前提：现在某条鱼 结论：该鱼为鲑鱼 概率推理（不确定性推理） 最小错误率准则 例子： 给定 ，类条件概率密度如图。 现有一条鱼 x=38cm， 若采用最小错误率决策，该鱼应该为哪一类？ 最小风险准则 最小风险贝叶斯决策：考虑各种错误造成损失不同而提出的一种决策规则。 条件风险： 最小风险准则 期望风险：对于x的不同观察值，采取决策αi时，其条件风险大小是不同的。所以究竟采取哪一种决策将随x的取值而定。这样，决策α可以看成随机向量x的函数，记为α(x)。可以定义期望风险Rexp为： 期望风险反映对整个空间上所有x的取值采取相应的决策α(x)所带来的平均风险。 最小风险准则 如果在采取每个决策时，都使其条件风险最小，则对所有的x做出决策时，其期望风险也必然最小。这样的决策就是最小风险贝叶斯决策。 对于每个 ，如果 则采取 决策。 最小风险准则 最小风险贝叶斯决策的步骤： 1）根据先验概率和类条件概率计算出后验概率； 2）利用后验概率和损失矩阵计算采取每种决策的条件风险； 3）比较各个条件风险的值，条件风险最小的决策即为最小风险贝叶斯决策 最小风险准则 最小风险准则 对于贝叶斯最小风险决策，如果损失函数取如下的形式： 那么，条件风险为： 此时，贝叶斯最小风险决策与最小错误率决策等价。 Pattern Recognition Lecture 2. Bayesian Decision In