Clementine 第九讲.ppt

超参数不同取值下的概率密度 TAN贝叶斯参数的估计 先验分布为Beta分布，似然函数为二项分布的似然函数，参数θ的后验分布也服从Beta分布 n为“成功”次数，N为“实验”次数 参数θ的期望： TAN贝叶斯网络参数的估计 若节点变量为具有ri个类别的多分类变量，参数θ的先验分布可选用Dirichlet分布 后验分布 参数θk的最终估计值为后验分布的期望 TAN贝叶斯网络参数的估计 超参数：很小的正数 节点Xi取类别k时，超参数为： 为本节点的类别数 与父节点所有类别的组合个数 TAN贝叶斯网络参数的估计 贝叶斯方法将未知参数看成随机变量，传统统计方法是将参数看成常量 贝叶斯方法将参数θ取值的不确定性用P(θ)表示 首先根据以往对参数θ的知识，确定参数θ的先验概率 然后利用样本数据对先验概率进行修正 参数θ的最终估计值是参数θ后验分布的期望 Markov毯网络 输入变量未必对输出变量的分类预测都有贡献 Markov毯网络的特点 输出变量不一定为根节点 输入变量和输出变量具有完全相同的“地位” 马尔科夫毯变量 对于节点Xi ，其父节点、子节点以及子节点的父节点，都属于节点Xi的马尔科夫毯变量 Markov毯网络 马尔科夫毯变量 例：朴素贝叶斯网络，输出变量的马尔科夫毯变量是所有输入变量 输入、输出变量的马尔科夫毯变量应是与其有显著相关的变量 分类预测将基于输出变量的马尔科夫毯变量的联合概率，而非全体输入变量 Markov毯网络结构的学习 确定网络结构S：寻找各变量的马尔科夫毯变量 对于节点Xi，不在其马尔科夫毯变量范围内的变量，是与变量Xi条件独立的变量：独立性检验 条件独立检验：卡方检验和条件卡方检验 检验统计量服从 个自由度的卡方分布 Markov毯网络结构的学习 条件独立检验：对数似然率检验和条件对数似然率检验 Markov毯网络结构的学习 设I(Xi , Xj)为变量对Xi和Xj独立检验的概率P-值，I(Xi , Xj ,S)为给定变量S条件下，变量对Xi和Xj条件独立检验的概率P-值。结构学习步骤： 第一，起始结构S是一个完全连接的无向网络 第二，如果I(Xi , Xj)大于指定的显著性水平α，则删除节点Xi和节点Xj间的连接弧线 第三，对每个节点Xi，在其剩余弧线中，寻找是否存在I(Xi , Xj , S)大于显著性水平α。如果存在，则删除节点Xi和节点Xj间的连接弧线 第四，将无向弧线转换为有向弧线 Markov毯网络结构的学习 Markov毯网络的分类预测 为Y的父节点集合，计算输出变量及其马尔科夫毯变量的联合概率 例：对性别=1,年龄=A,收入=1,学历=B的预测 Y 收入 性别 年龄 C为常量，表示并非输入变量X集合中的所有变量都参与计算，其值不影响计算结果 贝叶斯网路应用 以Students.xls为例，目标：利用TAN贝叶斯网络，研究哪些因素是影响学生是否参与社会公益活动的显著因素 Continue training existing model：选中表示在上次模型结果的基础上，重新修正和调整模型。通常修改原有网络的结构，只用于重新计算节点参数集合等 输入变量重要性的测度：输入输出变量独立性检验的1－概率P-值，经归一化处理后的结果 分类预测：贝叶斯网络 主要内容 贝叶斯方法概述 贝叶斯网络概述 TAN贝叶斯网络 Markov毯网络 贝叶斯方法概述 贝叶斯方法是一种研究不确定性问题的决策方法 通过贝叶斯概率描述不确定性 引进效用函数（Utility Function） 选择使期望效用最大的最优决策 贝叶斯概率 一种主观概率：对事物发生概率的主观估计 主观概率取决于先验知识的正确性和后验知识的丰富性 贝叶斯方法概述 贝叶斯概率 首先,用先于数据的概率描述最初的不确定性 然后,将其和试验数据相结合，产生一个后于数据的修订了的概率 不确定性必须用概率来描述，不确定性的表述必须与概率论的运算规则相结合 贝叶斯公式 事件A与事件B独立 事件A与事件B不独立 贝叶斯方法概述 贝叶斯公式 P(A)称为先验概率;P(B|A)为条件概率，通常为似然函数;P(A|B)为后验概率 后验概率可看做一种简化的效用函数 最大后验概率假设是贝叶斯决策的依据 朴素贝叶斯分类方法 朴素贝叶斯分类法 目标：分类 前提：输入变量条件独立 数据说明： 设有n个输入变量，记为X1 , X2 , ?, Xn 输入变量集合 变量Xi有ri个可能取值 输出变量Y，有k个可能取值 朴素贝叶斯分类方法 基本思路 因为： 输入变量条件独立： 后验概率： 最后，根据最大后验概率原则，输出变量应预测为k个后验概率中最大概率值对应的类别 朴素贝叶斯分类方法 参数估计：极大似然估计 核心计算 给定输出变量条件