概率密度函数估计剖析.ppt

* * * * * * * * * * * * * 3.3　贝叶斯估计和贝叶斯学习 的密度： 当 时， ， 函数。 3.3　贝叶斯估计和贝叶斯学习 均值 ，方差由 增为 ----- 由于用了 的估计值而不确定性增加 其他分布的情况：参考Gibbs采样方法、MCMC方法等 3.4　概率密度估计的非参数方法 参数估计 parametric estimation 非参数估计　nonparametric estimation 直方图方法 非参数概率密度估计的最简单方法 （1）把 的每个分量分成 个等间隔小窗，（若 ，则形成 个 小舱） （2）统计落入各个小舱内的样本数 （3）相应小舱的概率密度为 （ ：样本总数， ：小舱体积） 3.4　概率密度估计的非参数方法 3.4.1　非参数估计的基本原理 问题：已知样本集 ，其中样本均从服从 的总体中独立抽取，求估计 ，近似 。 考虑随机向量 落入区域 的概率 中有 个样本落入区域 的概率　 的期望值 的众数（概率最大的取值）为 的估计 （ ：实际落到 中的样本数） 3.4　概率密度估计的非参数方法 3.4.1　非参数估计的基本原理 设 连续，且 足够小， 的体积为 ，则有 因此 其中, ：样本总数， ：包含 的一个小区域的体积 ：落在此区域中的样本数 为对 在小区域内的平均值的估计。 3.4　概率密度估计的非参数方法 3.4.1　非参数估计的基本原理 的选择：过大，估计粗糙；过小，可能某些区域中无样本 ? 理论结果： 设有一系列包含 的区域 ，对 采用1个样本进行估计，对 用2个，…。设 包含 个样本， 为 的体积， 为 的第 次估计，有下面的结论： 如果：（1） ；（2） ； （3） 则 收敛于 。 3.4　概率密度估计的非参数方法 3.4.1　非参数估计的基本原理 两种选择策略： 1. 选择 ，（比如 ），同时对 和 加限制以保证收敛 —— Parzen窗法 2. 选择 ，（比如 ）， 为正好包含 的 个近邻 —— 近邻估计 3.4　概率密度估计的非参数方法 3.4.2　 -近邻估计 通过控制小区域内的样本数 来确定小区域大小。 3.4　概率密度估计的非参数方法 3.4.3　Parzen窗法 窗函数（核函数） ，反映 对 的贡献，实现小区域选择。 条件： 3.4　概率密度估计的非参数方法 3.4.3　Parzen窗法 常用窗函数： （1）超立方体窗（方窗） 为超立方体棱长， （2）正态窗（高斯窗） 一维标准正态： 3.4　概率密度估计的非参数方法 3.4.3　Parzen窗法 （3）超球窗 （ ：超球体积，半径 ） ? 窗宽的选择： 样本数少则选大些，样本数多则选小些， 比如选 Parzen窗估计的性质： 在满足一定的条件下，估计量 是渐近无偏和平方误差一致的。条件是： 3.4　概率密度估计的非参数方法 3.4.3　Parzen窗法 总体密度 在x点连续； 窗函数满足以下条件： ：窗函数具有密度函数的性质 ：窗函数有界 ：窗函数随着距离的增大很快趋于零 3. 窗宽受以下条件约束： ：窗体积随着N的增大而趋于零 ：但体积减小的速度要低于