K最近邻方法.ppt

* 总样本集为S，有m个类，每类分别有样本S1,S2,…Sm, 这样Ci类的概率就为： 5.这样测试样本X 属于那类就有公式计算出的最大概率的那个类 * 举例 样本Y=(age ?30,income=“medium”,student=“yes”, credit_rating=“fair”） Y 属于那类? 即 buys_computer=? （yes还是no） 属性 类 A1 A2 A3 A4 C * 用贝叶斯公式 计算 先计算 再计算 * C 仅 为 2 类 C1: buys_computer=yes, 9 C2: buys_computer=no, 5 计算 P(Ci) P(C1)=p(buys_computer=yes)=9/14= 0.643 P(C2)=p(buys_computer=no )=5/14= 0.357 计算 样本Y的属性为4个（n=4），分别为//8次计算 y1=age ?”30” , y2= income“medium”, y3=student=“yes”, y4=credit_rating =“fair” P ( age ?”30”| buys_computer=“yes”)=2/9=0.222 P ( age ?”30”| buys_computer=“no”)= 3/5=0.6 * P( income=“medium” | buys_computer=“yes”)=4/9=0.444 P( income=“medium” | buys_computer=“no”)=2/5=0.2 P( student=“yes” | buys_computer=“yes”)=6/9=0.667 P( student=“yes” | buys_computer=“no”)=1/5=0.2 P( credit=“fair” | buys_computer=“yes”)=6/9=0.667 P( credit=“fair” | buys_computer=“no”)=2/5=0.2 使用以上概率，得： P(Y | buys_computer=“yes”) =0.222x0.444x0.667x0.667=0.044 P(Y | buys_computer=“no”) =0.6x0.4x0.2x0.4=0.019 =P(Y | buys_computer=“yes”) P( buys_computer=“yes”)=0.044x0.643=0.028 =P (Y | buys_computer=“no”) P( buys_computer=“no”)=0.019x0.357=0.007 * 因此，对于样本Y， Y=(age ?30,income=“medium”,student=“yes”, credit_rating=“fair”） 朴素贝叶斯分类预测结论 P(C1 |Y) P(C2 |Y) 样本Y为 C1类：buys_computer=“yes” * 另一个例子： * 另一个例子(cont.)： P(A|M)=6/7*6/7*2/7*2/7=0.06 P(A|N)=1/13*10/13*3/13*4/13=0.0042 P(M)=7/20, P(N)=13/20 P(A|M)*P(M)=0.021 P(A|N)*P(N)=0.0027 ? A?Mammals * 贝叶斯网络方法 随着人工智能技术的发展，20世纪80年代初专家系统有很快的发展，在推理过程中不确定的因素太多，人们开始研究不确定各种方法，不确定性推理和知识表示成为人工智能最活跃的分枝。 贝叶斯网络应用于专家系统，成为表示不确定性专家知识和不确定推理的一种流行方法。20世纪90年代，随着数据挖掘技术的出现和发展，贝叶斯网络又开始用于数据挖掘任务。 但贝叶斯网络从理论到实践还在发展中。尚有许多问题要解决。 * 贝叶斯网络定义 贝叶斯网络是一个带有概率注释的有向无环图。形式上，贝叶斯网络可定义为二元组B=G, ? 。其中，G：有向无环图，其中的节点