21-22参数估计问题点估计.pptVIP

* * * * * * * * * * * * 2.2.2 极(最)大似然估计 它首先是由德国数学家 高斯在1821年提出的 , Gauss Fisher 然而，这个方法常归功于 英国统计学家费歇 . 费歇在1922年重新发现了 这一方法，并首先研究了这 种方法的一些性质 . 最大似然法的基本思想 一只野兔从前方窜过 . 是谁打中的呢？ 某位同学与一位猎人一起外出打猎 . 如果要你推测， 只听一声枪响，野兔应声倒下 . 一般地，我们会有这样的想法：因为只发一枪便打中,猎人命中的概率一般大于这位同学命中的概率. 看来这一枪是猎人射中的. 其数学模型为 令X为打一枪的中弹数，则X~b(1, p), p未知.设想我们事先知道p只有两种可能: p=0.9 或 p=0.1 两人中有一人打抢, 估计这一枪是谁打的，即估计总体X的参数p的值 当兔子中弹，即{X =1}发生了。这时，若p=0.9，则P{X=1}=0.9; 若p=0.1，则P{X=1}=0.1 当兔子未中弹，即{X =0}发生了。这时，若p=0.9，则P{X=0}=0.1; 若p=0.1，则P{X=0}=0.9 现有样本观测值 x =1, 什么样的参数使该样本值出现的可能性最大呢？ 最大似然估计法的基本思想：根据样本观测值，选择参数p的取值 ，使得样本在该样本值附近出现的可能性最大 最大似然估计的求法 最大似然估计也称为极大似然估计 极(最)大似然估计 定义2.1.1 设总体的概率函数为p(x;? )，?是参数? 可能取值的参数空间，x1, x2 , …, xn 是样本，将样本的联合概率函数看成? 的函数，用L(? ; x1, x2, …, xn) 表示，简记为L(? )， 称为样本的似然函数。 如果某统计量 满足 则称 是? 的极(最)大似然估计，简记为 MLE（Maximum Likelihood Estimate）。 人们通常更习惯于由对数似然函数lnL(? )出发寻找? 的极大似然估计。 当L(? )是可微函数时，求导是求极大似然估计最常用的方法，对lnL(? )求导更加简单些。 L(p)= p (x1,x2,…xn; p ) 例2.1.4 设X1,X2,…, Xn是取自总体 X~b(1, p) 的一个样本，求参数p的最大似然估计. 解：似然函数为: 对数似然函数为： 对p求导并令其为0， =0 得 为 p 的最大似然估计. (3) 在最大值点的表达式中, 用样本值代入 就得参数的最大似然估计值 . 求最大似然估计(MLE)的一般步骤是： (1) 由总体分布导出样本的联合分布律 (或联合密度); (2) 求似然函数L( ? ) 的最大值点(常常转化 为求ln L(? )的最大值点) ，即 ? 的最大似然估计(MLE); MLE是maximum likelihood estimate缩写 解：似然函数为 对数似然函数为 例2.1.5 设X1,X2,…Xn是取自总体X的一个样本 求 的最大似然估计. 其中 0, 求导并令其为0 =0 从中解得 即为 的MLE . 对数似然函数为 例2.1.6 设一个试验有三种可能结果，其发生概率分别为 现做了n次试验，观测到三种结果发生的次数分别为 n1 , n2 , n3 (n1+ n2+ n3 = n)，则似然函数为 其对数似然函数为 将之关于? 求导，并令其为0得到似然方程 解之，得 由于 所以 是极大值点。 例2.1.7 对正态总体N(?,? 2)，θ=(?,? 2)是二维参数，设有样本 x1, x2 , …, xn，则似然函数及其对数分别为 将 lnL(?,? 2) 分别关于两个分量求偏导并令其为0, 即得到似然方程组 (6.1.9) (6.1.10) 解此方程组，由(6.1.9)可得? 的极大似然估计为 将之代入(6.1.10)，得出? 2的极大