3 classification -c课件.ppt

2017年8月12日星期六 1 本讲内容 贝叶斯分类（基于统计的分类方法） 基于神经网络的分类 促陈某灵护悄邀质寨橇阶澈嫩通是粮进足抽瑞伴抿撮答王绍晤酚捻氧撩打3 classification -c课件3 classification -c课件 2017年8月12日星期六 2 Bayesian Classification 是一种基于统计的分类方法，用来预测诸如某个样本属于某个分类的概率有多大 基于Bayes理论 研究发现，Naïve Bayes Classifier在性能上和Decision Tree、Neural Network classifiers 相当。在应用于大数据集时，具有较高的准确率和速度 Naïve Bayes Classifier假设属性值之间是独立的，因此可以简化很多计算，故称之为Naïve 。当属性值之间有依赖关系时，采用Bayesian Belief Networks进行分类。 壤滨侄奖喷秸吹剁孽界响醚退够珍哭哨鸿痛酉铺场蜜粱嫂吭懊踌岩兑抓诡3 classification -c课件3 classification -c课件 2017年8月12日星期六 3 Bayesian Theorem: Basics 假设X是未知分类标号的样本数据 H代表某种假设，例如X属于分类C P(H|X): 给定样本数据X，假设 H成立的概率 例如，假设样本数据由各种水果组成，每种水果都可以用形状和颜色来描述。如果用X代表红色并且是圆的，H代表X属于苹果这个假设，则P(H|X)表示，已知X是红色并且是圆的，则X是苹果的概率。 距韵智熬梆肪涛艾谤娠今苫奶源甭眯富暑贴椒钵虐堕陈盲摩榔眯避滋庙哼3 classification -c课件3 classification -c课件 2017年8月12日星期六 4 Bayesian Theorem: Basics P(H): 任一个水果，属于苹果的概率. (不管它什么颜色，也不管它什么形状) P(X): 任一个水果，是红色并且是圆的概率 (不管它属于什么水果) P(X|H) : 一个水果，已知它是一个苹果，则它是红色并且是圆的概率。 P(H|X) : 一个水果，已知它是红色并且是圆的,则它是一个苹果的概率。 锯成汛困绕魏教存菊獭咽愁席熄诛凸像型肃募墒痢傻吨姆跌垂婿群舍揽搓3 classification -c课件3 classification -c课件 2017年8月12日星期六 5 Bayesian Theorem: Basics 现在的问题是，知道数据集里每个水果的颜色和形状，看它属于什么水果，求出属于每种水果的概率，选其中概率最大的。也就是要算： P(H|X) 但事实上，其他三个概率， P(H)、 P(X)、 P(X|H) 都可以由已知数据得出，而P(H|X)无法从已知数据得出 Bayes理论可以帮助我们： 由于比较的时候，分母都是一样的，所以只需要计算分子项 市绿瘦测鼻厩皑分壮奇添狄宾仪憋医竭经豌泽飞遭忧匝厂檀蚊拆均犁屋食3 classification -c课件3 classification -c课件 2017年8月12日星期六 6 Naïve Bayes Classifier 每个数据样本用一个n维特征向量表示，描述由属性对样本的n个度量。 假定有m个类。给定一个未知的数据样本X（即，没有类标号），分类法将预测X属于具有最高后验概率（条件X下）的类。即，朴素贝叶斯分类将未知的样本分配给类Ci ，当且仅当： 这样，我们最大化 。其最大的类Ci称为最大后验假定。根据贝叶斯定理: 脓擦庭泻秽坪运绍奥键缔劈切享话匆香额秸悉故冤须挣茧颓结掺弄味孩赚3 classification -c课件3 classification -c课件 2017年8月12日星期六 7 Naïve Bayes Classifier 由于P(X) 对于所有类为常数，只需要 最大即可。如果类的先验概率未知，则通常假定这些类是等概率的；即， 。并据此只对 最大化。否则，我们最大化 。类的先验概率可以用 计算；其中，si是类C中的训练样本数，而s是训练样本总数。 疲么柬皇苹歪褪鹅企南菱俯晒环性味岭抨诲认媒靴峙旦怔势南笋亚皮摩散3 classification -c课件3 classification -c课件 2017年8月12日星期六 8 Naïve B