机器学习7周志华课件.pptVIP

. . 七、贝叶斯分类器 机器学习7周志华ppt课件全文共23页，当前为第1页。 . 贝叶斯决策论 (Bayesian decision theory) 概率框架下实施决策的基本理论 给定 N 个类别，令 λij 代表将第 j 类样本误分类为第 i 类所产生的 损失，则基于后验概率将样本 x 分到第 i 类的条件风险为： 贝叶斯判定准则 (Bayes decision rule)： ? h* 称为 贝叶斯最优分类器(Bayes optimal classifier)，其总体风险称为 贝叶斯 风险 (Bayes risk) ? 反映了 学习性能的理论上限 机器学习7周志华ppt课件全文共23页，当前为第2页。 . 判别式 (discriminative) 模型 生成式 (generative) 模型 建模 思路：直接对 代表： ? 决策树 ? BP 神经网络 ? SVM 判别式 vs. 生成式 在现实中通常难以直接获得 从这个角度来看，机器学习所要实现的是基于有限的训练样本 尽可能准确地估计出后验概率 两种基本策略： 思路：先对联合概率分布 建模，再由此获得 代表：贝叶斯分类器 注意：贝叶斯分类器 ≠ 贝叶斯学习 (Bayesian learning) 机器学习7周志华ppt课件全文共23页，当前为第3页。 . 贝叶斯定理 根据贝叶斯定理，有 先验概率（prior ） 样本空间中各类样本所占的 比例，可通过各类样本出现 的频率估计（大数定律） 证据 (evidence) 因子，与类别无关 Thomas Bayes (1701?-1761) 样本相对于类标记的 类条 件概率 (class-conditional probability), 亦称 似然 (likelihood) 主要困难在于估计似然 机器学习7周志华ppt课件全文共23页，当前为第4页。 . 极大似然估计 先假设某种概率分布形式，再基于训练样例对参数进行估计 假定 具有确定的概率分布形式，且被参数 唯一确定，则 任务就是利用训练集 D 来估计参数 对于训练集 D 中第 c 类样本组成的集合 Dc 的似然(likelihood)为 连乘易造成下溢，因此通常使用对数似然 (log-likelihood) 于是， 的极大似然估计为 估计结果的准确性严重依赖于所假设的概率分布形式是否符合潜在的真实分布 机器学习7周志华ppt课件全文共23页，当前为第5页。 . 朴素贝叶斯分类器 (na?ve Bayes classifier) 主要障碍：所有属性上的联合概率 难以从有限训练样本估计获得 组合爆炸；样本稀疏 基本思路：假定属性相互独立？ d 为属性数， xi 为 x 在第 i 个属性上的取值 对所有类别相同，于是 机器学习7周志华ppt课件全文共23页，当前为第6页。 . 朴素贝叶斯分类器 ? 估计 P(c): ? 估计 P(x|c): ? 对离散属性，令 表示 Dc 中在第 i 个属性上取值为 xi 的样本组成的集合，则 ? 对连续属性，考虑概率密度函数，假定 机器学习7周志华ppt课件全文共23页，当前为第7页。 . 拉普拉斯修正 (Laplacian correction) 若某个属性值在训练集中没有与某个类同时出现过，则直接计算会出现 问题，因为概率连乘将“抹去”其他属性提供的信息 例如，若训练集中未出现“敲声=清脆”的好瓜， 则模型在遇到“敲声 =清脆”的测试样本时 …… 令 N 表示训练集 D 中可能的类别数，Ni 表示第 i 个属性可能的取值数 假设了属性值与类别的均匀分布，这是额外引入的 bias 机器学习7周志华ppt课件全文共23页，当前为第8页。 . 朴素贝叶斯分类器的使用 ? 若对预测速度要求高 ? 预计算所有概率估值，使用时“查表” ? 若数据更替频繁 ? 不进行任何训练，收到预测请求时再估值 (懒惰学习 , lazy learning) ? 若数据不断增加 ? 基于现有估值，对新样本涉及的概率估值进行修正 (增量学习 , incremental learning) 机器学习7周志华ppt课件全文共23页，当前为第9页。 . 半朴素贝叶斯分类器 朴素贝叶斯分类器的“属性独立性假设”在现实中往往难以成立 半朴素贝叶斯分类器 (semi-na?ve Bayes clas