模式识别（3-1）参数估计.pptVIP

模式识别 第三章参数估计(1) §3.1 引言 §3.1 引言 估计先验概率和类条件概率密度？ 难点： 需要大量样本 当特征向量维数较大时，计算起来比较复杂 解决方式： 已知参数个数 把类条件概率密度进行参数化 §3.1 引言 基于样本的两步贝叶斯决策： §3.1 引言 参数估计 先假定研究的问题具有某种数学模型，如正态分布，二项分布等，再用已知类别的学习样本估计里面的参数。 非参数估计 不假定数学模型，直接用已知类别的学习样本的先验知识直接估计数学模型。 §3.1 引言 监督学习 在已知类别样本指导下的学习和训练，参数估计和非参数估计都属于监督学习。 非监督学习 不知道样本类别，只知道样本的某些 信息去估计，如：聚类分析。 §3.1 引言 本章重点内容： 参数估计－最大似然估计 非参数估计－ Parse窗口估计、KN近邻估计 §3.2 最大似然估计 优点： 在训练样本增多时，通常收敛得非常好。 计算比较简单，适合实际应用。 假定： ①待估参数θ是确定（非随机）的未知量 ②按类别把样本分成M类X1，X2，X3，… XM 其中第i类的样本共N个 Xi = (X1,X2,… XN)T 并且是从总体中独立抽取的 §3.2 最大似然估计 ③ 类条件概率密度具有某种确定的函数形式，但其参数向量未知。 ④ Xi中的样本不包含待估计参数θj(i≠j)的信息，不同类别的参数在函数上是独立的，所以可以对每一 类样本独立进行处理。即： Xi中的样本只对θi提供有关信息，而没有关于θj的任何信息。 根据以上四条假定，我们下边就可以只利用第i类学习样本来估计第i类的概率密度，其它类的概率密度由其它类的学习样本来估计。 §3.2 最大似然估计 §3.2 最大似然估计 §3.2 最大似然估计 §3.2 最大似然估计 §3.2 最大似然估计 §3.2 最大似然估计 §3.2 最大似然估计 §3.2 最大似然估计 §3.2 最大似然估计 2. 多维正态分布情况 ① ∑已知, μ未知,估计μ， 服从正态分布， 所以在正态分布时 §3.2 最大似然估计 所以 这说明未知均值的最大似然估计正好是训练样本的算术平均。 §3.2 最大似然估计 ② ∑， μ均未知 A. 一维情况：n=1对于每个学习样本只有一个特征的简单情况： §3.2 最大似然估计 §3.2 最大似然估计 B．多维情况：n个特征（自行推导） * * * ????????????? ?????????????? ???????????? ??????????? ???????????? ????????????? ????????????? ????????????? ????????????? 通常不能得到有关问题的概率结构的全部知识！ 寻找某种有效的方法，能利用现有的信息设计出正确的分类器。 1.一般原则： 第i类样本的类条件概率密度： 原属于i类的学习样本为Xi=(X1 , X2 ,…XN,)T i=1,2,…M 求θi的最大似然估计就是把p(Xi |θi)看成θi的函数，求出使它最大时的θi值。 似然函数定义： 最大似然估计量： －使似然函数达到最大值的参数向量。 －最符合已有的观测样本集的那一个参数向量。 ∵学习样本从总体样本集中独立抽取的 ∴ N个学习样本出现概率的乘积 为了便于分析，总是使用似然函数的对数函数。 对θi求导,并令它为0： P(Xi/θi) 有时上式是多解的, 上图有5个解,只有一个解最大即 （对所有的可能解进行检查或计算二阶导数） (n=1)由上式得： 即学习样本的算术平均 样本方差 讨论： 1.正态总体均值的最大似然估计即为学习样本的算术平均