分类和预测贝叶斯网络.pptVIP

第四章 分类和预测 4.1 分类和预测的定义 4.2 数据分类方法 决策树 神经网络 SVM 贝叶斯网络 4.3 数据预测方法 线性回归 非线性回归 贝叶斯网络 贝叶斯网络(Bayesian Network)是20世纪80年代发展起来的，由Judea Pearl(朱迪亚?佩尔)于1986年提出。 贝叶斯网络起源于贝叶斯统计分析理论，它是概率论和图论相结合的产物。 贝叶斯网络是一种描述不确定性知识和推理问题的方法。 文本分类（如：垃圾邮件的过滤） 医学诊断 ...... 贝叶斯网络 1、引例 2、贝叶斯概率基础 3、贝叶斯网络概述 4、贝叶斯网络的预测、诊断和训练 4.1 贝叶斯网络的预测 4.2 贝叶斯网络的诊断 4.3 贝叶斯网络的训练 贝叶斯网络 1、引例 2、贝叶斯概率基础 3、贝叶斯网络概述 4、贝叶斯网络的预测、诊断和训练 4.1 贝叶斯网络的预测 4.2 贝叶斯网络的诊断 4.3 贝叶斯网络的训练 1、引例 一个有关概率推理的例子。 图中有六个结点： 参加晚会(Party, PT) 宿醉(Hangover, HO) 头疼(Headache, HA) 患脑瘤(Brain tumor, BT) 有酒精味(Smell alcohol, SA) X射线检查呈阳性(Pos Xray, PX) 1、引例 一个有关概率推理的例子。 图中有五条连线： PT?HO HO?SA HO?HA BT?HA BT?PX 1、引例 参加晚会后，第二天呼吸中有酒精味的可能性有多大？ 如果头疼，患脑瘤的概率有多大？ 如果参加了晚会，并且头疼，那么患脑瘤的概率有多大？ ...... 贝叶斯网络 1、引例 2、贝叶斯概率基础 3、贝叶斯网络概述 4、贝叶斯网络的预测、诊断和训练 4.1 贝叶斯网络的预测 4.2 贝叶斯网络的诊断 4.3 贝叶斯网络的训练 2、贝叶斯概率基础 先验概率：根据历史资料或主观判断所确定的各种事件发生的概率。 先验概率可分为两类： 客观先验概率：是指利用过去的历史资料计算得到的概率(如：在自然语言处理中，从语料库中统计词语的出现频率——客观先验概率)； 主观先验概率：是指在无历史资料或历史资料不全的时候，只能凭借人们的主观经验来判断取得的概率。 2、贝叶斯概率基础 后验概率：是指利用贝叶斯公式，结合调查等方式获取了新的附加信息，对先验概率修正后得到的更符合实际的概率。 条件概率：是指当条件事件发生后，该事件发生的概率。 2、贝叶斯概率基础 例：已知任意时刻阴天的概率为0.3，记为P(A)=0.3，下雨的概率为0.2，记为P(B)=0.2。阴天之后下雨的概率为0.6，记为条件概率P(B|A)=0.6。那么在下雨的条件下，是阴天的概率是多少？ 【解】根据条件概率公式，可得： P(A|B) = P(B|A)*P(A)/P(B) = 0.6*0.3/0.2 = 0.9 2、贝叶斯概率基础 全概率公式 设B1, B2, …, Bn是两两互斥的事件，且P(Bi)0，i =1, 2, …, n, B1+B2+…,+Bn=Ω。 另有一事件A = AB1 + AB2 + … + ABn 2、贝叶斯概率基础 贝叶斯公式(后验概率公式) 设先验概率为P(Bi)，调查所获的新附加信息为P(A|Bi) (i=1, 2, …, n)，则贝叶斯公式计算的后验概率为： 该公式于1763年由贝叶斯(Bayes)导出。 该公式是在观察到事件A已发生的条件下，寻找导致A发生的每个原因的概率。 2、贝叶斯概率基础 例：某电子设备厂所用的元件由三家元件厂提供，根据以往记录，这三个厂家的次品率分别为0.02，0.01和0.03，提供元件的份额分别为0.15，0.8和0.05，设这三家的产品在仓库是均匀混合的，且无区别的标志。 问题1：在仓库中，随机抽取一个元件，求它是次品的概率； 问题2：在仓库中，随机抽取一个元件，若已知它是次品，则该次品来自三家供货商的概率分别是多少？ 2、贝叶斯概率基础 【解】设A表示“取到的元件是次品”，Bi表示“取到的元件是由第i个厂家生产的”，则 P(B1)=0.15，P(B2)=0.8，P(B3)=0.05 对于问题1，由全概率公式可得： P(A) = P(B1)*P(A|B1) + P(B2)*P(A|B2) + P(B3)*P(A|B3) = 0.15*0.02+0.8*0.01+0.05*0.03 = 0.0125 2、贝叶斯概率基础 【解】设A表示“取到的元件是次品”，Bi表示“取到的元