贝叶斯决策分类.ppt

山东大学 控制科学与工程学院 山东大学 控制科学与工程学院 * 第二章 贝叶斯决策理论 §2.1引言 模式识别的分类问题是根据识别对象特征的观察值将其分到某个类别中去。统计决策理论是处理模式分类问题的基本理论之一，它对模式分析和分类器的设计有着实际的指导意义。贝叶斯（Bayes）决策理论是统计模式识别中的一个基本方法。 基本假设 给定模式空间S，由c个互不相交的模式类集合 ， ，…， 组成，即 ， ， 。几个基本假设如下。 （1）假定类 的先验概率 已知； （2）样本（或模式） 由特征向量来表示，同样记为 ，假设为d维，即 ； （3）特征向量 的取值范围构成特征空间，记为 ； （4）特征向量 的类条件概率密度函数为 假设为已知，其表示当样本 时，特征向量 的概率密度函数。 山东大学 控制科学与工程学院 * （5）特征向量 的后验概率为 ，表示在特征向量 出现的条件下，样本 来自 类的概率，即 类出现的概率。 模式识别就是根据特征向量 的取值，依据某个判决准则把样本 划分到 中的一个。 §2.2 基于最小错误率的贝叶斯决策 在模式分类问题中，人们往往希望尽量减少分类的错误，从这样的要求出发，利用概率论中的贝叶斯公式，就能得出使错误率最小的分类规则，称之为基于最小错误率的贝叶斯决策。 讨论一般问题之前，先举个例子说明解决问题的过程——癌细胞的识别： 假设每个要识别的细胞已做过预处理，抽取出d个表示细胞基本特性的特征，成立一个d维空间的向量 ，识别的目的是要将 分类为正常细胞或者异常细胞。用决策论的术语来讲是将 归类于两种可能的自然状态之一，如果用 来表示状态，则 表示正常； 表示异常 山东大学 控制科学与工程学院 * 类别的状态是一个随机变量，某种状态出现的概率是否可以估计？ （如根据医院细胞病理检查的大量统计资料可对某个地区正常细胞和异常细胞出现的比例做出估计） 对于两类问题 如不作细胞特征的仔细观测，只依靠先验概率 去做决策，如何做？ （若 ，被识别细胞应属于哪一类？） 只依靠先验概率分类，不能把正常细胞和异常细胞区别开来。因为先验概率提供的信息太少。为此，我们需对细胞做病理分析，抽取出d维观测向量。假定只用一个特征（如细胞核光密度）进行分类，即d＝1。根据前面的假设，类别条件概率分布应为已知，假设如图所示： 先验概率 山东大学 控制科学与工程学院 * 利用贝叶斯公式，有 得到的条件概率 称为状态的后验概率。 贝叶斯公式实质上是通过观察 （即被识别细胞特征的测量）把状态的先验概率 转化成状态的后验概率 ， 这样基于最小错误率的贝叶斯决策规则为：如果 ，则把 归类于正常状态 ，反之若 ，则把 归类于异常状态 。 后验概率 山东大学 控制科学与工程学院 * 上面的规则可简写为： 利用贝叶斯公式还可得到几种最小错误率决策的等价形式： 似然比 似然比阈值 山东大学 控制科学与工程学院 * 还可利用其它几个等价形式做出决策，同学们自己试试。 山东大学 控制科学与工程学院 * 我们在前面只是给出了最小错误率贝叶斯决策规则，但尚未证明按这种规则进行分类确实能使错误率最小。现在仅以一维情况来完成这一证明，其结果不难推广到多维。 山东大学 控制科学与工程学院 * 最小错误率贝叶斯决策规则实际上是对每个 都使 取小者，这就使上式的积分值也必然达到最小，即使平均错误率 达到最小。得证。 山东大学 控制科学与工程学院 * §2.2 基于最小风险的贝叶斯决策 在模式分类的决策中