概率推理pdf-智能科学.pdf

高级人工智能 第六章 概率推理 史忠植 中国科学院计算技术研究所 内容提要 6.1 概述 6.2 概率基础 6.3 贝叶斯学习理论 6.4 简单贝叶斯学习模型 6.5 贝叶斯网络的建造 6.6 主动贝叶斯网络 6.7 贝叶斯潜在语义模型 6.8 贝叶斯网络的证据推理 2015/4/8 史忠植 高级人工智能 2 样本空间和事件 考虑一个事先不知道输出的试验：  试验的样本空间：所有可能输出 W的集合 如果抛掷两次硬币，则样本空间为 = H H ,H T , TH , T T  事件A是样本空间 的子集 上述试验中第一次正面向上的事件为A= HH, HT 2015/4/8 史忠植 高级人工智能 3 概率  对每个事件A ，我们定义一个数字P(A) ，称为A 的概率。概率根据下述三条公理： 1、事件A 的概率是一个非负实数：(A) ≥ 0 2、合法命题的概率为1：() = 1 3、对两两不相交（互斥）事件A1, A2, … ， 从上述三个公理，可推导出概率的所有的其他性质 。频率学派和贝叶斯学派都满足该公理 2015/4/8 史忠植 高级人工智能 4 分布函数  令X为一随机变量， x 为X的一具体值（数据）  则随机变量X的累积分布函数 (cumulative distribution function, CDF) 定义为  若X的取值为一些可数的数值{x1，x2, } 则称其 为离散型随机变量。 2015/4/8 史忠植 高级人工智能 5 统计概率 统计概率:若在大量重复试验中，事件A发生的频率稳 定地接近于一个固定的常数p，它表明事件A出现的可 能性大小，则称此常数p为事件A发生的概率，记为 P(A), 即 p＝P(A) 可见概率就是频率的稳定中心。任何事件A的概率为 不大于1的非负实数，即 0＜P(A)＜1 2015/4/8 史忠植 高级人工智能 6 概率分布  对连续型随机变量X，如果存在一个函数P ，使得对 所有的x，p 0 ，且对任意a b 有  则函数 被称为概率密度函数 (probability density function, pdf)。  当F可微时 2015/4/8 史忠植 高级人工智能 7 Bernoulli 分布  一些离散分布的例子： 1：X为一次抛硬币的输出，  我们称X服从参数为θ的Bernoulli分布，记为 2015/4/8 史忠植 高级人工智能