模式识别第六讲-概率密度估计.ppt

第三章 概率密度函 数的估计 ;前一章我们讨论了各种决策规则，在设计分类器时，总是假定先验概率和类条件密度函数是已知的。 在实际工作中，先验概率和类条件密度函数都可能未知。 ; 利用样本设计分类器 的方法有两种：;从样本中估计概率密度函数时，有以下一些情况： ;3.1 常数参数的估计 ;一. 最大似然估计 ;只要导数存在，使似然函数最大的 可以通过解下面的似然方程或对数似然方程得到： ;由于对数函数是单调增的，所以这两个方程完全是等价的。哪个用时方便，就用哪个。 ;解：输出请求间的间隔假定为独立的。 ;例2：多元正态密度函数均值的估计。（上面的例子估计了一个标量参数，本例估计一个向量参数。） ;对数似然函数为样本联合密度函数的对数： ;3.2 贝叶斯估计 ;引入一个连续的损失函数 ，定义条件风险为： ;使 最小的估计 称贝叶斯估计。 ;二.常用的损失函数，均方估计和最大后验估计 ;而 ;求解均方估计的步骤可以归纳如下： ;均匀损失函数和最大后验估计 ;区域 是 ，任意小， ;例5：正态分布均值的贝叶斯估计 ;当都是一维时有： ;;样本均值和先验均值的线性组合，系数和为1，且都是正的。;;这节讨论直接从样本中估计密度函数的方法。主要介绍两种方法： ;一. Parzen窗估计 ;样本落在小区间内的概率可以近似为 ;把上述的思路一般化，定义如下的窗函数： ;这时;;矩形窗估计出的 容易产生不连续,而高斯窗估计出的要平滑些。 ;下面对上述方法作些分析。 ;实际上样本数总是有限的，因此，不能使体积V（2h）无限小。 应该让体积 V 随着可用样本数 N 而改变。如何变呢？ 假定有 N 个样本可以利用。 ;若满足以下三个条件： ;满足上述三个条件的区域序列 的选择： Parzen窗方法选择使 以 变化。 ;可以证明在某些限制条件下，上述估计量 是渐进无偏和均方一致的。 KN近邻估计方法的公式仍为 KN近邻估计选择使KN 为N 的某个函数（例如 ），而 的选取是使它刚好包括 的KN 个近邻。 ;Parzen窗法应用举例 ;;;;;;在样本数无穷多时，得到的 不受 参数 h1 的影响。;??结：