第2章涉及内容(概率密度函数的估计)讲述.pptVIP

利用样本集推断概率分布的方法： 一、 参数估计与监督学习 假定： ①待估参数θ是确定而未知的量。 ②按类别把样本分成c类 X1，X2，X3，… Xc，其中第j类的样本Xj = {x1,x2,…, xN} 是独立的从概率密度为p(x|ωj)总体中抽取的。 ③ Xi中的样本不包含θj (j ≠ i)的信息，所以可以对每一类样本独立进行处理；利用第i类学习样本来估计第i类的概率密度，其它类的概率密度由其它类的学习样本来估计。 ④ 类条件概率密度p(x|ωj)具有某种确定的函数形式。 已知某一类样本集包含有N个样本，即 X={x1 , x2 ,…，xN}, 由于假设样本是独立抽取的，则有 将其称作相对于样本集X的θ的似然函数。 最大似然估计量：令l(θ)为样本集X的似然函数，若 是参数空间中能使似然函数极大化的 θ值，则 就是θ的最大似然估计量。 取对数 ： 对θ求导,并令它为0： 有时上式是多解的, 上图有5个解,只有一个解最大即 . 三、非参数估计 三、非参数估计 三、非参数估计 非参数估计:直接用已知类别样本去估计总体密度分布。 非参数估计方法： ①?Parzen窗法 ②?kN -近邻估计 假设有N个样本x1,x2,…,xN是按照p(x)从总体中独立抽取的,则N个样本中有k个落入R内的概率符合二项分布： 其中P是样本x落入R内的概率，Pk是k个样本落入R内的概率。 k的数学期望值为: E(k)=NP 根据两项分布的性质知：k的众数m为(N+1)P的整数部分，即m= [(N+1)P],且众数定义为k=m时，Pk有最大值，即 Pm＝max Pk 此式说明抽取N个样本，其中k＝m个落入区域R的概率最大。 密度估计 可取 对概率P的估计: 设p(x)在R内连续变化,当R逐渐减小的时候,小到p(x)在其上 几乎没有变化时，则 其中V是区域R的体积，x是R中的点。 密度估计 如何选择VN满足以上条件： ①Parzen窗法：使体积VN以N的某个函数减小， 如? (h为常数) ②kN近邻估计：使kN作为N的某个函数，例 VN的选择使RN正好包含kN个近邻 V1→k1，V2→k2，..VR→kR 近邻法 2.Parzen窗口估计 假设RN为一个d维的超立方体，hN为超立方体的长度 超立方体体积为： d=1，窗口为一线段 d=2，窗口为一平面 d=3，窗口为一立方体 d3，窗口为一超立方体 窗口的选择： ф(u) 是以原点x为中心的超立方体。 在xi落入方窗时，则有 在VN内为1 不在VN内为0 落入VN的样本数为所有为1者之和 密度估计 例1：对于一个二类（ ω1 ，ω2 ）识别问题，随机抽取ω1类的6个样本X=(x1，x2，…. x6) ω1=(x1，x2，…. x6) =(x1=3.2，x2=3.6，x3=3，x4=6，x5=2.5，x6=1.1) 估计p(x|ω1)即pN(x) 解：选正态窗函数 ∵x是一维的 上式用图形表示是6个分别以3.2，3.6，3，6，2.5，1.1为中 心的丘形曲线(正态曲线)，而pN(x)则是这些曲线之和。 由图看出，每个样本对估计的贡献与样本间 的距离有关，样本越多， pN(x)越准确。 例2：设待估计的p(x)是个均值为0，方差为1的正态密度 函数。若随机地抽取X样本中的