第三章 ML估计和Bayesian参数估计 Part3.pptVIP

最大似然估计和贝叶斯参数估计 刘芳，戚玉涛 qi_yutao@163.com 最大似然估计和贝叶斯参数估计 参数估计(parametric methods) ： 最大似然估计（ML估计） 贝叶斯估计（Bayesian估计） 主成分分析（PCA） Fisher 判别分析（FDA） 多重FDA EM算法 隐马尔科夫模型（ HMM ） 期望最大化算法(EM算法) EM算法的应用可以分为两个方面： 训练样本中某些特征丢失情况下，分布参数的最大似然估计； 对某些复杂分布模型假设，最大似然估计很难得到解析解时的迭代算法。 EM算法 ML估计： 给定数据集 ，并已知分布形式为 部分特征丢失情况： EM算法 缺失特征情况： E步（边沿化未知特征）： M步（最大化边沿化后的似然函数）： 迭代方法：给定初始参数 E步（边沿化未知特征）： M步（最大化边沿化后的似然函数）： EM算法 EM算法 begin initialize ，T，i?0； do i?i+1 E步：计算 ; M步： until return 例：给定样本集： 样本服从 第1次迭代：E步： 第1次迭代：M步 改善后的参数估计作为第2次迭代的输入： 例：给定样本集： 样本服从 第2次迭代：E步 第2次迭代： M步 第3次迭代：E步。。。。 第3次迭代：M步 EM算法 EM算法可以用于包含未知特征的分布估计。 EM的一种流行的应用是：为降低求解复杂度而故意引入未知隐变量的分布估计。 典型的应用： 混合模型分布估计 HMM转移概率学习 混合密度模型 一个复杂的概率密度分布函数可以由多个简单的密度函数混合构成： 高斯混合模型 1维高斯混合模型： ML估计 高斯混合模型 EM算法 EM估计： 引入隐变量 表示样本 由模型 产生。 设参数集 以及初始参数 设参数集关于样本集 的EM函数： EM算法 E步： M步： EM算法 Gaussian混合模型的EM更新规则： 最大似然估计和贝叶斯参数估计 参数估计(parametric methods) ： 最大似然估计（ML估计） 贝叶斯估计（Bayesian估计） 主成分分析（PCA） Fisher 判别分析（FDA） 多重FDA EM算法 隐马尔科夫模型（ HMM ） 隐马尔科夫模型（ HMM ） 有一些模式识别系统处理的是与时间相关的问题，如语音识别，手势识别，唇读系统等； 对这类问题采用一个特征矢量序列描述比较方便，这类问题的识别，隐Markov模型 ( Hidden Markov Model, HMM ) 取得了很好的效果。 Markov 模型（MM） Markov 模型： 考虑 是一所有可能取值状态为W的随机过程，如果 则称该随机过程为一阶Markov过程。如果 仅能取离散值，状态空间W仅包含有限的离散状态,则该随机过程称为Markov链或者Markov模型。 Markov 性质： 随机过程 的当前状态 仅与前一时刻的状态 有关，与其它时刻的状态无关。 Markov 模型 状态空间： 初始概率： 一步转移概率： 齐次Markov模型： 转移概率 与时间 无关，记为 。 Markov模型的图示 时刻的分布为， 则 时刻的分布为： Markov模型的图表示： 顶点表示状态 有向边表示转移概率 Markov模型 一阶Markov模型由M个状态构成，在每个时刻t，模型处于某个状态w(t)，经过T个时刻，产生出一个长度为T的状态序列 WT=w(1),…,w(T)。 Markov模型的参数表示 模型初始于状态wi的概率用 表示。 完整的一阶Markov模型可以用参数 表示，其中： HMM HMM： 考虑 是一所有可能取值状态为W 的不可观测随机过程，而且 而 是由当前隐状态 激发的可观测状态。则称该随机过程 为一阶隐Markov模型。 Ma