哈尔滨工业大学-模式识别课程-2．贝叶斯决策理论3学时.pptVIP

国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 第二种情况： 第一种情况： 分析： 其中 分析 也就是 决策面方程为： 举例 举例 例：模式分布如图所示，两类均值向量和协方差矩阵 可用下式估计。 (0,1,1) (1,1,1) (1,0,0) (1,0,1) (0,0,1) (0,0,0) ??1 ??2 x2 x1 x3 ?2 ?1 两类均作为正态分布，并假设先验概率相等，求判别函数和决策面。 (0,1,1) (1,1,1) (1,0,0) (1,0,1) (0,0,1) (0,0,0) ??1 ??2 x2 x1 x3 ?2 ?1 两类均作为正态分布，并假设 ， 故判别函数为 本章小结 统计决策理论是模式分类问题的基本理论之一，它对模式分析和分类器的设计有实际的指导意义。贝叶斯决策理论是统计模式识别中的一个基本方法。 贝叶斯决策理论方法是统计模型决策中的一个基本方法，其基本思想是： 1、已知类条件概率密度参数表达式和先验概率。 2、利用贝叶斯公式转换成后验概率。 3、根据后验概率大小进行决策分类。 模式识别的分类问题是根据识别对象特征的观察将其分到某个类别中去。 【本章小结】 （3）如果我们既不知道任何有关被分类类别概率分布的知识，也不知道判别式函数的形式，只有已经标记类别的训练样本集合。那我们就需要从训练样本集合中来估计概率分布函数的参数。 （4）只有没有标记类别的训练样本集合。这是经常发生的情形。我们需要对训练样本集合进行聚类，从而估计它们概率分布的参数。（这是无监督的学习） （5）如果我们已知被分类类别的概率分布，那么，我们不需要训练样本集合，利用贝叶斯决策理论就可以设计最优分类器。但是，在现实世界中从没有出现过这种情况。这里是贝叶斯决策理论常用的地方。 贝叶斯决策理论分析： （1）如果我们已知被分类类别概率分布的形式和已经标记类别的训练样本集合，那我们就需要从训练样本集合中来估计概率分布的参数。 （2）如果我们不知道任何有关被分类类别概率分布的知识，已知已经标记类别的训练样本集合和判别式函数的形式，那我们就需要从训练样本集合中来估计判别式函数的参数。 【本章小结】 本章结束 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 国家杰出青年科学基金答辩申请 * 【基于最小风险的贝叶斯决策】 算法步骤: 【基于最小风险的贝叶斯决策】 例题2: 【基于最小风险的贝叶斯决策】 【基于最小错误率的贝叶斯决策与最小风险的贝叶斯决策的关系】 定理：0-1风险 证明： 概率论基础知识 贝叶斯决策基础知识 基于最小错误率的贝叶斯决策 基于最小风险的贝叶斯决策 正态分布时的统计决策 贝叶斯分类器设计 小结 正态分布时的统计决策 【贝叶斯决策基础知识】 贝叶斯决策理论 先验概率： 后验概率： 类条件概率： 贝叶斯公式： 【两种贝叶斯决策】 最小错误率的贝叶斯准则： （1） （2） （3） 为似然比， 为似然比阈值。 其中， 最小风险贝叶斯决策规则: 【正态分布时的统计决策】 为什么要用正态分布函数？ 1. 物理上的合理性 对于许多实际的数据集，正态性假设是一种合理的近似。 2. 数学上比较简便 正态分布概率模型有很好的性质，有利于做数学分析。 【正态分布时的统计决策】 1. 单变量正态分布 单变量正态分布概率密度定义为 图 单变量正态分布 概率密度函数应满足下列关系式 【正态分布时的统计决策】 1. 单变量正态分布 图 单变量正态分布 2.多元正态分布 （1）多元正态分布的概率密度函数定义为 1. 参数对分布的决定性 2. 不相关性等价于独立性 3. 边缘分布和条件分布的正态性 4.