机器学习（2）.pptVIP

人工智能 机器学习方法(2) 贝叶斯学习 贝叶斯学习实例 离散模型的最大似然参数学习 朴素贝叶斯分类器 统计学习框架 统计学习框架 贝叶斯学习 Log-linear方法(如：最大熵) 和最优化方法相关的边缘学习—支持向量机 / 核方法等 神经网络 非参数化方法(如：决策树 / K近邻)…… 参数化方法—选择合适的参数使某个函数值最大 评价—统计学习理论 / 最小损失函数 贝叶斯学习 贝叶斯学习根据给定数据计算各种假设的可能性，即根据概率为每个假设赋予相应的权值，然后在此基础上进行预测 这里，假设看作是随机变量，数据是随机变量的实例化 本节主要介绍参数学习方法 在完整数据下为结构固定的概率模型寻找数值参数(相对于非参数学习) 贝叶斯学习的特性(Mitchell) 观察到的每个训练样例可以增量地降低或升高某个假设的估计概率—更合理的学习途径 先验知识可以和观察数据一起决定假设的最终概率 允许假设给出不确定的预测(即概率的决定) 新的实例分类可以由多个假设经概率加权而获得 即使计算复杂度较高时，仍可作为一个最优决策的标准，用来衡量其他方法 贝叶斯学习实例 例子—预测糖果口味 两种口味(cherry/lime)，相同包装 5种包装，比例如下且给定了先验概率： h1: 100%=cherry P(h1)=0.1 h2: 75=cherry/25=lime P(h2)=0.2 h3: 50%=cherry/50%=lime P(h3)=0.4 h4: 25%=cherry/75%=lime P(h4)=0.2 h5: 100%=lime P(h5)=0.1 每次打开糖纸品尝口味，得到一个随机变量 D=cherry/lime 贝叶斯法则(1) 问题：现在获得的数据为10次都是lime，问这些糖取自何种包装？即学习的目标是根据一定的观察序列，预测下一个出现的糖果的口味 此时学习过程是一个概率推理过程，根据贝叶斯法则，有： P(hi|d)=?P(d|hi)P(hi)—d是所有的观察值 / ?为归一化因子，最终使得∑?P(d|hi)P(hi)=1 ?值的获得很重要，是书中图20.1(a)概率曲线生成的依据 贝叶斯法则(2) 根据观察过程的独立同分布假设(i.i.d—independence identical distribution)—即每次取到某种糖果的概率都不依赖于其他次的结果且都是按照统一分布进行的，有公式：P(hi|d)=?∏jP(dj|hi)P(hi) (i=1~5, j=1~10) 由此，我们计算每次取到lime口味糖果的后验概率(见下页表格) d1=lime时，?*P(d1|h1)*P(h1)=?*0*0.1=0 / ?*P(d1|h2)*P(h2)=?*0.25*0.2=?*0.05 / ?*P(d1|h3)*P(h3)=?*0.5*0.4=?*0.2 … … 实例的后验概率表(1) 实例的后验概率表(2) 后验概率曲线 贝叶斯预测 显然，如果一连给出10颗糖果都是lime口味的话，其选自h5包装的可能性达到了90% / 曲线单调地趋向于1 例子表明—贝叶斯学习的特性是为真的假设主导了贝叶斯预测过程 / 任何为假的假设值的后验概率都会最终消退—因为生成不典型数据的概率都会概率地逐渐减小 此外，贝叶斯预测是最优的—给定了假设的先验概率，任何另外的预测不会比这个预测更正确 最大后验假设 贝叶斯最优预测的特性其代价也很高，假设空间很大甚至无限 常见的近似方法—基于单一的最可能假设进行预测—取使P(hi|D)最大化的hi(D为已经观察到的数据集)，这一方法称为最大(极大)后验假设(maximum a posteriori, MAP) MAP假设随着数据量的增加，其与贝叶斯预测就越接近 最大似然假设 假设先验P(hi)作用很重要，使复杂度高的假设处于不利地位—体现了假设复杂度和数据拟合度之间的一种折衷 因为hMAP=arg max P(h|D)=arg max P(D|h)P(h)当P(h)相同时，MAP假设就退化为使得P(D|h)最大的假设，此时就是最大(极大)似然假设(maximum likelihood, ML) 当无法推断哪个假设更优先时，选择最大似然是合理的，特别是当数据量大淹没先验假设时 / 但该方法对于小数据集有问题 离散模型的最大似然参数学习 最大似然参数学习就是最大似然估计(见任一数理统计教科书)，其典型步骤如下： 写出数据的似然表达式，这是待学习参数的一个函数 对似然函数取对数并对每个参数求导，写出似然方程 求解方程，求得对应参数值 这里举的2个例子都是按照最大似然估计来求得相关参数(某个概率?的值) 例子—预测糖果口味比例 问题—假设买了一包糖果，其中cherry和lime的比例未知，即