模式识别（3-2）参数估计.pptVIP

模式识别 第三章参数估计(2) 回顾： 最大似然估计：估计使似然函数达到最大值的参数向量。 参数估计要求密度函数的形式已知，但这种假定有时并不成立，常见的一些函数形式很难拟合实际的概率密度，经典的密度函数都是单峰的，而在许多实际情况中却是多峰的，因此用非参数估计(它能处理任意的概率分布，而不必假设密度的参数形式已知）。 §3.3 非参数估计 非参数估计:直接用已知类别样本去估计总体密度分布，方法有： ①?用样本直接去估计类概率密度p(x |ωi)以此来设计分类器, 如窗口估计. ②?用学习样本直接估计后验概率p(ωi | x)作为分类准则来设计分类器,如k近邻法. 概率密度估计 一个随机变量X落在区域R的概率为P 概率密度估计 数学期望: E(k)=k=NP ∴对概率P的估计: 。 是P的一个比较好的估计. 概率密度估计 ∴ ∴ 条件密度的估计： (V足够小) 概率密度估计 ② N固定,体积变小 当 时,k=0时 时 所以起伏比较大,噪声比较大,需要对V进行改进. 概率密度估计 对体积V进行改进： 为了估计X点的密度,我们构造一串包括X的区域序列R1,R2,.. RN. 对R1采用一个样本进行估计，对R2采用二个样本进行估计.。 设VN是RN的体积，KN是N个样本落入VN的样本数则 密度的第N次估计： VN是RN的体积 KN是N个样本落入VN的样本数 ∴PN(x)是P(x)的第N次估计 概率密度估计 概率密度估计 如何选择VN满足以上条件： ①使体积VN以N的某个函数减小， 如? (h为常数) ②使KN作为N的某个函数，例 VN的选择使RN正好包含KN个近邻 V1→K1，V2→K2，..VR→KR →Kn近邻法 Parzen窗口估计 Parzen窗口估计 ∵ ф(u) 是以原点x为中心的超立方体。 ∴在xi落入方窗时，则有 在VN内为1 不在VN内为0 落入VN的样本数为所有为1者之和 ∴ 密度估计 Parzen窗口估计 Parzen窗口估计 Parzen窗口估计 例1：对于一个二类（ ω1 ，ω2 ）识别问题，随机抽取ω1类的6个样本X=(x1，x2，…. x6) ω1=(x1，x2，…. x6) =(x1=3.2，x2=3.6，x3=3，x4=6，x5=2.5，x6=1.1) 估计P(x|ω1)即PN(x)? Parzen窗口估计 解：选正态窗函数 Parse窗口估计 Parse窗口估计 Parse窗口估计 Parse窗口估计 讨论：由图看出, PN(x)随N, h1的变化情况 ①当N＝1时， PN(x)是一个以第一个样本为中心的正态形状的小丘，与窗函数差不多。 ②当N＝16及N=256时 h1＝0.25 曲线起伏很大，噪声大 h1＝1 起伏减小 h1＝4 曲线平坦，平均误差 ③当N→∞时， PN(x)收敛于一平滑的正态曲线， 估计曲线较好。 Parse窗口估计 Parse窗口估计 当N=1、16、256、 ∞时的PN(x)估计如图所示 ①当N＝1时， PN(x) 实际是窗函数。 ②当N＝16及N=256时 h1＝0.25 曲线起伏大 h1＝1 曲线起伏减小 h1＝4 曲线平坦 ③当N→∞时，曲线较好。 Parse窗口估计 结论： ①由上例知窗口法的优点是应用的普遍性。对规则分布，非规则分布，单锋或多峰分布都可用此法进行密度估计。 ②要求样本足够多，才能有较好的估计。