第三章 ML估计和Bayesian参数估计 Part1.pptVIP

最大似然估计和贝叶斯参数估计 刘芳，戚玉涛 qi_yutao@163.com 3.1 引言 贝叶斯决策要事先知道两种知识： 各类的先验概率 观测向量的类条件概率密度 实际问题： 已知一定数目的样本，对未知样本分类（设计分类器） 怎么办？ 3.1 引言 一种很自然的想法： 首先根据样本估计 和 ，分别记为： 和 然后用估计的概率密度设计贝叶斯分类器。 ——（基于样本的）两步贝叶斯决策 3.1 引言 希望：当样本数N →∞时，如此得到的分类器收敛于理论上的最优解。 即满足： 重要前提：训练样本的分布能代表样本的真实分布。每个样本集中的样本都是所谓独立同分布的随机变量（ i.i.d条件），且有充分的训练样本 。 3.1 引言 类的先验概率的估计（较容易）： 依靠经验 用训练数据中各类出现的频率估计 用频率估计概率的优点： 无偏性 收敛速度快 3.1 引言 类条件概率密度的估计（非常难）： 概率密度函数包含了一个随机变量的全部 信息 概率密度函数可以是满足下面条件的任何函数 3.1 引言 本章探讨的重点内容： 如何利用样本集估计概率密度函数？ 估计量的性质如何？ 如何根据样本集估计错误率？ 3.1 引言 概率密度估计的两种基本方法： 参数估计(parametric methods) ： 根据对问题的一般性的认识，假设随机变量服从某种分布，分布函数的参数通过训练数据来估计。如：ML 估计，Bayesian估计。 非参数估计(nonparametric methods)： 不用模型，而只利用训练数据本身对概率密度做估计。如：Parzen窗方法，kn-近邻估计。 3.2 最大似然估计（ML） 假设条件： 3.2 最大似然估计（ML） 其中，参数θ 通常是向量。 比如:一维正态分布： 3.2 最大似然估计（ML） 要解决的问题： 给定 C 类 i.i.d.样本集 估计每一类的类条件概率密度 。 每一类分别进行单独估计（分别估计每一类条件概率密度函数中的参数值）。 3.2 最大似然估计（ML） 鉴于上述假设，我们可以只考虑一类样本，记已知样本为： 3.2 最大似然估计（ML） 最大似然估计的基本思想： 3.2 最大似然估计（ML） 统计量(statistics)：样本的某种函数，用来作为对某参数的估计 参数空间(parametric space)：待估计参数的取值空间 点估计：构造一个统计量作为参数的一个估计量(estimation)： 空间估计：用区间作为参数可能取值范围的估计 3.2 最大似然估计（ML） ML(Maximum Likelihood)估计：要求使得出现该组样本的概率最大。 实际中为了便于分析，定义对数似然函数 3.2 最大似然估计（ML） 3.2 最大似然估计（ML） 最大似然估计的求解： 必要条件是似然函数的梯度为0。 3.2 最大似然估计（ML） 若未知参数不止一个，即： 3.2 最大似然估计（ML） 如果似然函数 连续可导，存在最大值，且上述必要条件方程组有唯一解，则其解就是最大似然估计量。 如果必要条件有多解，则需从中求似然函数最大者 若不满足连续可导，则无一般性方法，用其它方法求最大（如：均匀分布的情况） 3.2 最大似然估计（ML） 3.2 最大似然估计（ML） 3.2 最大似然估计（ML） 3.2 最大似然估计（ML） 3.2 最大似然估计（ML） 3.2 最大似然估计（ML） 最大似然估计 满足方程： 3.2 最大似然估计（ML） 于是，有方程组： 3.2 最大似然估计（ML） d元正态分布时： 统计量的无偏性 无偏估计： 3.2 最大似然估计（ML） ML估计总结 简单性 收敛性：无偏或者渐近无偏（一般渐近 已知） 如果假设的类条件概率模型 正确，则通常能获得较好的结果。但如 果假设模型出现偏差，将导致非常差的 估计结果。 3.3 贝叶斯估计 ML估计： 根据每一类的训练样本估计每一类的类条件概率密度。 Bayesian估计： 同样根据每一类的训练样本估计每一类的类条件概率密度。但不再把参数 看成是一个未知的确定变量，而是看成未知的随机变量。通过对第i类样本 的观察，使概率密度分布 转化为后验概 再求贝叶斯估计。 贝叶斯估计的思路与贝叶斯决策类似，只是离散的决策状态变成了连续的估计。 3.3 贝叶斯估计 3.3 贝叶斯估计 3.3 贝