ch14概率图模型-周志华.pptVIP

模型推断 基于概率图模型定义的分布，能对目标变量的边际分布（marginal distribution）或某些可观测变量为条件的条件分布进行推断 对概率图模型，还需确定具体分布的参数，称为参数估计或学习问题，通常使用极大似然估计或后验概率估计求解。单若将参数视为待推测的变量，则参数估计过程和推断十分相似，可以“吸收”到推断问题中 图模型推断 参数估计（学习） 参数视为待推测的变量 模型推断 假设图模型所对应的变量集 能分为 和 两个不相交的变量集，推断问题的目标就是计算边际概率 或者条件概率 。同时，由条件概率定义容易有 其中，联合概率 可基于图模型获得，所以推断问题的关键就在于如何高效计算边际分布，即 边际分布 联合分布 模型推断分类 联合概率 可基于图模型获得，所以推断问题的关键就在于如何高效计算边际分布: 概率图模型的推断方法可以分两类 精确推断方法 计算出目标变量的边际分布或条件分布的精确值 一般情况下，该类方法的计算复杂度随极大团规模增长呈指数增长，适用范围有限 近似推断方法 在较低的时间复杂度下获得原问题的近似解 在实际问题中更常用 精确推断：变量消去 精确推断：变量消去 精确推断：变量消去 变量消去法实际上是利用了乘法对加法的分配律，将对多个变量的积的求和问题转化为对部分变量交替进行求积和求和的问题。这种转化使得每次的求和和求积运算被限制在局部，仅和部分变量有关，从而简化了计算 信念传播 信念传播 若图中没有环，则信念传播算法经过两个步骤即可完成所有消息传递，进而能计算所有变量上的边际分布： 指定一个根节点，从所有叶结点开始向根节点传递消息，直到根节点收到所有邻接结点的消息 从根结点开始向叶结点传递消息，直到所有叶结点均收到消息 近似推断 精确推断方法需要很大的计算开销，因此在现实应用中近似推断方法更为常用。 近似推断方法大致可以分为两类： 采样法（sampling）：通过使用随机化方法完成近似，如MCMC采样 变分推断（variational inference)：使用确定性近似完成推断 近似推断：采样法 近似推断：MCMC方法 近似推断：MCMC方法 Metropolis-Hastings (MH)算法 用户给定的先验概率 Metropolis-Hastings (MH)算法 吉布斯采样 近似推断：变分推断 近似推断：变分推断 近似推断：变分推断 近似推断：变分方法 构成下界 对数似然 近似推断：变分方法 近似推断：变分方法 话题模型 话题模型（topic model）是一类生成式有向图模型，主要用来处理离散型的数据集合（如文本集合）。作为一种非监督产生式模型，话题模型能够有效利用海量数据发现文档集合中隐含的语义。隐狄里克雷分配模型（Latent Dirichlet Allocation, LDA）是话题模型的典型代表。 LDA的基本单元 词（word）：待处理数据中的基本离散单元 文档（document）：待处理的数据对象，由词组成，词在文档中不计顺序。数据对象只要能用“词袋”（bag-of-words）表示就可以使用话题模型 话题（topic）：表示一个概念，具体表示为一系列相关的词，以及它们在该概念下出现的概率 话题模型的基本单元 话题模型（topic model）是一类生成式有向图模型，主要用来处理离散型的数据集合（如文本集合）。作为一种非监督产生式模型，话题模型能够有效利用海量数据发现文档集合中隐含的语义。隐狄里克雷分配模型（Latent Dirichlet Allocation, LDA）是话题模型的典型代表。 LDA的基本单元 词（word） 文档（document） 主题（topic） 数据 计算机 生物 新闻 建筑 植物 天空 话题模型的构成 文档的生成过程 LDA的图模型表示 LDA的图模型表示 狄利克雷分布 LDA的基本问题 总结 概率图模型 表示随机变量之间的（条件）独立性关系 图模型的两种表示 有向图 隐马尔可夫模型 HMM（动态贝叶斯网） 无向图 马尔可夫随机场 MRF 条件随机场 CRF 图模型推断 联合分布，条件分布，边缘分布 精确推断， 近似推断 参数估计（转化为推断问题） 话题模型 叶翰嘉 第十四章：概率图模型 概率模型 概率模型 概率图模型 概率图模型 概率图模型(probabilistic graphical model)是一类用图来表达变量相关关系的概率模型 图模型提供了一种描述框架， 结点：随机变量（集合） 边：变量之间的依赖关系 分类： 有向图：贝叶斯网 使用有向无环图表示变量之间的依赖关系 无向图：马尔可夫网 使用无向图表示变量间