模式识别与Chp2 .pptVIP

模 式 识 别 Pattern Recognition (2009-2010-2) Bayes决策理论 2.0 引言 ??2.1 基于最小错误率的Bayes决策 ??2.2 基于最小风险的Bayes决策 ??2.3 正态分布的最小错误率Bayes决策 ??2.4 说明与讨论 Bayes决策理论——基本概念 Bayes决策理论——基本概念 引言 统计决策理论——根据每一类总体的概率分布决定决策边界 Bayes决策理论是统计决策理论的基本方法 每一类出现的先验概率已知 类别数是一定的 类条件概率密度 例：医生要根据病人血液中白细胞的浓度来判断病人是否患血液病。 两类的识别问题。 根据医学知识和以往的经验医生知道： 患病的人，白细胞的浓度服从均值2000，方差1000的正态分布； 未患病的人，白细胞的浓度服从均值7000，方差3000的正态分布； 一般人群中，患病的人数比例为0.5%。 一个人的白细胞浓度是3100，医生应该做出怎样的判断？ 引言 数学表示： 用Ω表示“类别”这一随机变量，ω1表示患病，ω2表示不患病；X表示“白细胞浓度”这个随机变量，x表示浓度值。 医生掌握的知识非常充分，他知道： 类别的先验分布：没有获得观测数据（病人白细胞浓度）之前类别的分布; 观测数据白细胞浓度分别在两种情况下的类条件分布： 已知先验分布和观测值的类条件分布，Bayes决策理论是最优的。 引言 决策的概念：决策是从样本空间，到决策空间的一个映射,即 对上例 样本空间就是白细胞浓度的取值范围； 决策空间 评价决策有多种标准，对于同一个问题，采用不同的标准会得到不同意义下“最优”的决策。 Bayes决策是所有识别方法的一个基准（Benchmark）。 Bayes决策两种常用的准则： ??最小错误率； ??最小风险。 几种常用的决策规则 基于最小错误率的贝叶斯决策规则 基于最小风险的贝叶斯决策规则 限定一类错误率条件下使得另一类错误率最小的两类别决策 最小最大决策 序贯分类方法 分类器设计 基于最小错误率的贝叶斯决策规则 模式分类中，往往希望尽量减少分类错误，利用概率论中的贝叶斯公式，可得到使错误率最小的分类规则——基于最小错误率的贝叶斯决策 以细胞识别为例： 细胞识别问题：ω1正常细胞，ω2异常细胞，某地区，经大量统计获先验概率P(ω1),P(ω2)。 目的：判断该地区某人细胞x(d维特征向量)属何种细胞 若不做任何观测，则只能由先验概率决定，即： 对x再观察：有细胞光密度特征 ,有类条件概率密度: P(x/ωi) i=1,2; 如右图所示 利用贝叶斯公式 ： 基于最小错误率的贝叶斯决策 基于最小错误率的贝叶斯决策 贝叶斯判别函数的四种形式： 对应的贝叶斯决策规则： 基于最小错误率的贝叶斯决策 决策面方程：g(x)=0 x为一维时，决策面为一点 x为二维时决策面为曲线 x为三维时，决策面为曲面 x大于三维时决策面为超曲面 例：某地区细胞识别； P(ω1)=0.9， P(ω2)=0.1 ；未知细胞x，先从类条件概率密度分布曲线上查到：P(x/ω1)=0.2，P(x/ω2)=0.4 解：该细胞属于正常细胞还是异常细胞，先计算后验概率： 基于最小错误率的贝叶斯决策 决策的错误率P(e)最小; 错误率P(e)与条件错误率P(e┃x): 即错误率是条件错误率的数学期望 条件错误率的计算(以两类为例)： 获得观测值后，有两种决策可能：x ∈ω1或x ∈ω2，条件错误率为： Bayes最小错误率决策: 选择后验概率中最大的作为决策，使得在观测值x下的条件错误率最小: 条件错误率和错误率为： 基于最小错误率的贝叶斯决策 基于最小错误率的贝叶斯决策 Bayes最小错误率决策不仅保证了错误率（条件错误率的期望）最小，而且保证每个观测值下的条件错误率最小，Bayes决策是一致最优决策； 多类识别问题的Bayes最小错误率决策： 在观测值x下的每个决策的条件错误率为 决策规则为： 后验概率的计算 基于最小风险的贝叶斯决策 决策风险： 以医生根据白细胞浓度判断一个人是否患血液病为例： 没病被判为有病，还可以做进一步检查，损失不大； 有病被判为无病，损失严重。 做决策要考虑决策可能引起的损失。 损失的定义：(N类问题) 做出决策x ∈ωi, 但实际应为x ∈ωj，受到的损失： 损失矩阵 基于最小风险的贝叶斯决策 要判断某人是正常(ω1)还是肺病患者(ω2), 在判断中可能出现以下情况： 第一类，判对(正常→正常) λ11 ；第二类，判错(正常→肺病) λ21 ； 第三类，判对(肺病→肺病)