06贝叶斯学习.pptVIP

2003.12.18 机器学习-贝叶斯学习 作者：Mitchell 译者：曾华军等 讲者：陶晓鹏 现代机器学习理论主讲：张莉zhangli@ 第6章 贝叶斯学习 概述 贝叶斯推理提供了一种概率手段 假定：待考察的量遵循某概率分布，且可根据这些概率及已观察到的数据进行推理，以作出最优的决策。 贝叶斯推理为衡量多个假设的置信度提供了定量的方法 贝叶斯推理为直接操作概率的学习算法提供了基础，也为其他算法的分析提供了理论框架 内容提要 简介 贝叶斯法则 贝叶斯法则和概念学习 极大似然和最小误差平方假设 用于预测概率的极大似然假设 最小描述长度准则 贝叶斯最优分类器 GIBBS算法 朴素贝叶斯分类器 例子：学习分类文本 贝叶斯信念网 EM算法 小结 简介 贝叶斯学习算法与机器学习相关的两个原因 贝叶斯学习算法能够计算显式的假设概率，比如朴素贝叶斯分类器 贝叶斯方法为理解多数学习算法提供了一种有效的手段，而这些算法不一定直接操纵概率数据 贝叶斯学习方法的特性 观察到的每个训练样例可以增量地降低或升高某假设的估计概率 先验知识可以与观察数据一起决定假设的最终概率 每个候选假设的先验概率 每个可能假设在可观察数据上的概率分布 贝叶斯方法可允许假设做出不确定性的预测 新的实例分类可由多个假设一起做出预测，用它们的概率来加权 即使在贝叶斯方法计算复杂度较高时，它们仍可作为一个最优的决策标准衡量其他方法 贝叶斯方法的难度 难度之一：需要概率的先验知识 当概率预先未知时，可以基于背景知识、预先准备好的数据以及基准分布的假定来估计这些概率 难度之二：确定贝叶斯最优假设的计算代价比较大 贝叶斯法则 机器学习的任务：在给定训练数据D时，确定假设空间H中的最佳假设 最佳假设 可以定义为在给定数据D以及H中不同假设的先验概率的有关知识下的最可能假设 贝叶斯理论提供了一种计算假设概率的方法 基于假设的先验概率 给定假设下观察到不同数据的概率 观察到的数据本身 先验概率和后验概率 P(h)表示在没有训练数据前假设h拥有的初始概率 P(h)被称为h的先验概率 先验概率反映关于h是一正确假设概率 如果没有这一先验知识，可以简单地将每一候选假设赋予相同的先验概率 P(D)表示训练数据D的先验概率 P(D|h)表示假设h成立时D的概率 后验概率 P(h|D)，即给定D时h的成立的概率，称为h的后验概率 贝叶斯公式 贝叶斯公式提供了从先验概率P(h)、P(D)和P(D|h)计算后验概率P(h|D)的方法 P(h|D)随着P(h)和P(D|h)的增长而增长，随着P(D)的增长而减少，即如果D独立于h时被观察到的可能性越大，那么D对h的支持度越小 极大后验假设 学习器在候选假设集合H中寻找给定数据D时可能性最大的假设h，h被称为极大后验（maximum a posteriori, MAP）假设 确定MAP的方法是用贝叶斯公式计算每个候选假设的后验概率，计算式如下 极大似然假设 有时可假定H中每个假设有相同的先验概率，只需考虑P(D|h)来寻找极大可能假设 P(D|h)常被称为给定h时数据D的似然度，而使P(D|h)最大的假设被称为极大似然假设 假设空间H可扩展为任意的互斥命题集合，只要这些命题的概率之和为1 举例：一个医疗诊断问题 两个可选的假设：病人有癌症、病人无癌症 可用数据来自化验结果：正+和负- 先验知识：在所有人口中，患病率是0.8% 对确实有病的患者的化验准确率为98%，对确实无病的患者的化验准确率为97% 总结如下 P(cancer)=0.008, P(?cancer)=0.992 P(+|cancer)=0.98, P(-|cancer)=0.02 P(+|?cancer)=0.03, P(-|?cancer)=0.97 举例：一个医疗诊断问题（2） 问题：假定有一个新病人，化验结果为正，是否应将病人断定为有癌症？求后验概率P(cancer|+)和P(?cancer|+) P(canner|+)=0.21；P(?cancer|-)=0.79 贝叶斯推理的结果很大程度上依赖于先验概率 不是完全接受或拒绝假设，只是在观察到较多的数据后增大或减小了假设的可能性 基本概率公式表 乘法规则：P(A?B)=P(A|B)P(B)=P(B|A)P(A) 加法规则：P(A?B)=P(A)+P(B)-P(A?B) 贝叶斯法则：P(h|D)=P(D|h)P(h)/P(D) 全概率法则：如果事件A1...An互斥，且满足 ，则 贝叶斯法则和概念学习 贝叶斯法则 计算给定训练数据下任一假设的后验概率 计算每个假设的概率，再输出其中概率最大的 Brute-Force贝叶斯概念学习算法 与第2章的算法进行比较 得到相同的假设 MAP假设和一致学