第13讲 基于参数估计及分类方法.pptVIP

第15讲 基于参数估计的分类方法 要点: 基本问题及其数学描述 极大似然估计（或最大似然估计） 贝叶斯估计 期望最大化算法 基本问题 如果完全知道类先验概率和类条件概率，就可以利用它们来设计最优分类器。 如果只是知道类先验概率和各类的一些样本，但仅仅知道类条件概率的数学形式，那么应该如何设计最优分类器？ 返回 基本问题的数学描述 先验概率：P(?i), i=1,2,…,c 已知样本的描述 类条件概率密度的描述 关键问题的描述 返回 已知样本的描述 把已知样本按照类别分成c组，分别记为： D1，D2，…，Dc 其中Dj的样本都属于?j类，且都独立地从类条件概率分布p(X|?j) 中抽取。 返回 类条件概率密度的描述 类条件概率密度p(X|?j)的数学形式已经知道，用p(X|?j, ?j)或p(X|?j)表示，其中?j是未知参数集。 样本集Di不包含关于?j (j?i)的信息，也就是说不同类的参数集是无关的。 返回 关键问题的描述 关键问题是利用每个类的样本集Dj去估计p(X|?j, ?j)或p(X|?j)中的参数集?j。 每个参数集?j的估计可以独立进行。 在估计?j后，就可以在结合类先验概率和类条件概率的基础上利用最小错误率贝叶斯决策等方法来设计最优分类器。 返回 极大似然估计 似然函数的定义 对数似然函数的定义 极大似然估计的基本思想 极大似然估计的求解方法 极大似然估计的求解举例 返回 似然函数的定义 设某类的条件概率密度记为p(X|?)，样本集D包含该类n个独立抽取的样本： D={X1, X2,…, Xn} 在样本集D下关于?的似然函数定义为： 返回 一维正态样本集举例 图中样本都服从一个方差已知，而均值未知的一维正态分布。虚线表示4种可能的分布。返回 似然函数示意图 表示使得似然函数取最大值的点。返回 对数似然函数的定义 在样本集D下关于?的对数似然函数l(?)定义为： 返回 对数似然函数示意图 表示使得对数似然函数取最大值的点。返回 极大似然估计的基本思想 如果在一次观察中某事件出现，那么可以认为该事件出现的可能性很大。所以，问题转化为求p(D|?)的极大值。 将?看作确定的参数，使p(D|?)达到极大值的?就是它的极大似然估计。 求p(D|?)的极大值等价于求l(?)=ln p(D|?)的极大值。 返回 极大似然估计的求解方法 设?有r个分量： 定义梯度算子： 极大似然估计 其中 是下面方程组的解： 返回 极大似然估计的求解举例 正态分布：均值未知、方差已知 一维正态分布：均值和方差均未知 多维正态分布：均值和方差均未知 返回 正态分布：均值未知、方差已知 设正态分布的均值为?，方差为?。 极大似然估计 返回 正态分布的概率密度 均值未知、方差已知时的正态分布密度： 返回 一维正态分布：均值和方差均未知 设一维正态分布的均值为?，方差为?2 令 极大似然估计的条件及结果。 返回 一维正态分布的概率密度 均值和方差均未知的一维正态分布密度： 返回 极大似然估计的条件 由 得： 返回 极大似然估计的结果 均值?和方差?2的极大似然估计为 返回 多维正态分布：均值和方差均未知 设多维正态分布的均值为?，方差为?。 ?和?的极大似然估计为： 返回 多维正态分布的概率密度 均值和方差均未知的多维正态分布密度： 返回 贝叶斯估计 贝叶斯估计的基本问题 贝叶斯估计的基本思想 贝叶斯估计的核心公式 贝叶斯估计举例 贝叶斯学习 返回 贝叶斯估计的基本问题 利用样本集D=D1?… ? Dc估计后验概率: p(?i|X)? p(?i|X,D) 其中Di完全独立地从p(?i|X)中抽取，且 返回 贝叶斯估计的基本思想 将类条件概率p(X|?i,?i)或p(X|?i)中未知参数集?i看作是随机向量。 假定已知?i的分布p(?i)。 关键在于利用上述条件估计： p(X|Di)=p(X| ?i,Di) 返回 贝叶斯估计的核心公式 已知从?类独立抽取的样本集D，则： 其中（试证明） 返回 证明 由于测试样本X和训练样本集D是独立选取的，所以 ，从而 返回 贝叶斯估计举例 一维情况 多维情况 返回 一维情况 前提条件 计算p(?|D) 计算p(x|D) 返回 前提条件 假定总体概率密度是正