第7章 分类方法资料.pptVIP

一棵决策树 　　画出相应的贝叶斯网如图7.15所示。一般地，在画贝叶斯网时，若已知P(X|Y)条件概率，则画一条从Y到X的有向边；若已知P(X|Y1、Y2、…、Yk)条件概率，则从Y1、Y2、…、Yk各画一条从Yi（1≤i≤k）到X的有向边。 P(X=0)=1-P(X=1)=0.7，P(Y=0)=1-P(Y=1)=0.4，P(Z=0)=1-P(Z=1)=0.3 由于X、Y均没有父结点，所以联合概率： 　　P(X=0，Y=0)=P(X=0)×P(Y=0)=0.7×0.4=0.28 依条件概率表有P(Z=0|X=0，Y=0)=0.9。根据贝叶斯定理，有： 　　P(X=0，Y=0|Z=0)=P(Z=0|X=0，Y=0)×P(X=0，Y=0)/P(Z=0) 　　　　　　　　　 =0.9×0.28/0.3=0.84。 7.4.2 朴素贝叶斯分类 1. 朴素贝叶斯分类原理 　　朴素贝叶斯分类基于一个简单的假定：在给定分类特征条件下，描述属性值之间是相互条件独立的。 　　朴素贝叶斯分类思想是：假设每个样本用一个n维特征向量X={x1，x2，…，xn}来表示，描述属性为A1、A2、…、An（Ai之间相互独立）。类别属性为C，假设样本中共有m个类即C1、C2、…、Cm，对应的贝叶斯网如图7.16所示。 　　给定一个未知类别的样本X，朴素贝叶斯分类将预测X属于具有最高后验概率P(Ci|X)的类，也就是说，将X分配给类Ci，当且仅当： 　　P(Ci|X)P(Cj|X)，1≤j≤m，i≠j 根据贝叶斯定理有： 　　由于P(X)对于所有类为常数，只需要最大化P(X|Ci)P(Ci)即可。而： P(X|Ci)=P(A1，A2，…，An|Ci)= 所以对于某个样本（a1，a2，…，an)，它所在类别为： 2. 朴素贝叶斯分类算法 输入：训练数据集S 输出：各个类别的先验概率P(Ci)，各个类的后验概率 　　　P(a1，a2，…，an|Ci) 方法：其描述过程如下： for (S中每个训练样本s(as1，…，asn，cs) {　 统计类别cs的计数cs.count; for (每个描述属性值asi) 统计类别cs中描述属性值asi的计数cs.asi.count; } for (每个类别c) { ; //|S|为S中样本总数 for (每个描述属性Ai) for (每个描述属性值ai) ; for (每个a1，…，am) ; } 　　对于一个样本（a1，a2，…，an），求其类别的朴素贝叶斯分类算法如下： 输入：各个类别的先验概率P(Ci)，各个类的后验概率 　　　P(a1，a2，…，an|Ci)，新样本r(a1，a2，…，an) 输出：新样本的类别maxc 方法：其描述过程如下： maxp=0; for (每个类别Ci) { p=P(Ci)*P(a1，a2，…，an|Ci); if (pmaxp) maxc=Ci; } return maxc; 【例7.3】对于表7.3所示的训练数据集S，有以下新样本X： 年龄=≤30，收入=中，学生=是，信誉=中 采用朴素贝叶斯分类算法求X所属类别的过程如下： （1）由训练样本集S建立贝叶斯网如图7.17所示。 　　（2）根据类别“购买计算机”属性的取值，分为两个类，C1表示购买计算机为是的类，C2表示购买计算机为否的类，它们的先验概率P(Ci)根据训练样本集计算如下： 　　P(C1)=P(购买计算机=是)=9/14=0.64 　　P(C2)=P(购买计算机=否)=5/14=0.36 （3）为了计算P(ai|Ci)，求出下面的条件概率： P(年龄=≤30|购买计算机=是)=2/9=0.22 P(年龄=≤30|购买计算机=否)=3/5=0.6 P(收入=中|购买计算机=是)=4/9=0.44 P(收入=中|购买计算机=否)=2/5=0.4 P(学生=是|购买计算机=是)=6/9=0.67 P(学生=是|购买计算机=否)=1/5=0.2 P(信誉=中|购买计算机=是)=6/9=0.67 P(信誉=中|购买计算机=否)=2/5=0.4 （4）假设条件独立性，使用以上概率得到： 　　P(X|购买计算机=是)=P(年龄=≤30|购买计算机=是)×P(收入=中|购买计算机=是)×P(学生=是|购买计算机=是)×P(信誉=中|购买计算机=是) 　　=0.22×0.44×0.67×0.67=0.04 　　P(X|购买计算机=否)= P(年龄=≤30|购买计算机=否)×P(收