数理统计第三章点估计3_3节极大似然估计.pptVIP

* 常见的分布族， 如二项分布族，Poisson分布族， 正态分布族，Gamma分布族等都是指数族，定理3.3.1的条件都成立. 因此似然方程的解就是有关参数的MLE. * 2 从定义出发求 * 例3.3.2 设X1,X2,…, Xn是从两点分布族 {b(1, p): 0p1}中抽取的样本，求p和g(p)=p(1-p)的极大似然估计(MLE). 解：似然函数为: 对数似然函数为： * 对p求导并令其为0， =0 得 由于两点分布族是指数族，因此 为p的MLE. 与例3.2.2中p的矩估计相同. * g(p)=p(1-p) 的极大似然估计为 * 解：似然函数为: 对数似然函数为： 例3.3.3 设X1,X2,…, Xn是从Poisson分布族 中抽取的样本，求 和 的极大似然估计(MLE). * 对 求导并令其为0， 得 由于Poisson分布族是指数族，因此 为 的MLE. * 的极大似然估计为 * 似然函数为 对数似然函数为 * * * X的概率密度为： * * X的概率密度为： * * X的概率密度为： * * 例(补充):为估计某湖泊中鱼数 N,自湖中捕出r 条鱼，做上标记后都放回湖中，经过一段时间后再自湖中同时捕出 s 条鱼，结果发现其中 x 条标有记号，试根据此信息估计鱼数 N 的值. 解: 设捕住的s条鱼中有标记的鱼数为 X, 因为事前无法确定它将取哪个确定的数 值，因此 X是一随机变量，则 * x为整数. 因为该问题只有一个样本观测值,故似然函数为 选取使 L(N)达最大值的 作为N的估计值， 但是直接对L(N)求导较困难，因此考虑比值 * 故当 rsxN,即 Nrs/x时, L(N) L(N-1) 当 rsxN,即 Nrs/x时, L(N) L(N-1) 因此似然函数L(N)在N=rs/x附近取得最大值，注意到N取整数，因此N的最大似然估计为 极大似然法 考虑离散情形： 总体是参数分布族． 的概率分布律 样本 理解（其实就是）为： 随机变量服从分布族 中以 为标记的分布时， 样本 的概率。 * 给定观察值 变化， 是不同的分布产生这组观察值的概率。 问题：那个分布产生这组观察值的可能性大？ 概率最大的可能性最大！ 对应概率最大的参数就是极大似然估计。 * 极大似然估计法的基本思想： 的可能性最大。 对连续型随机变量， 为密度函数，也看成不同的分布产生这组 观察值的可能性大小的度量。 对于给定的样本值 中选择参数?，使得由这个参数对应的分布产生 在参数空间 该参数就是参数的极大似然估计。 * 矩估计法和极大似然估计法的比较 矩估计法对总体分布要求较少 * 极大似然法要求知道总体分布（分布列或密度） 两种方法的结果有时是一样的，有时有差别，极大似然估计相对来说有更多的优良性。 * 作业：117页 5(极大似然估计)， 6 ，14 * 它首先是由德国数学家 高斯在1821年提出的 , Gauss Fisher 然而，这个方法常归功于 英国统计学家费歇(Fisher) . Fisher在1922年重新发现了 这一方法，并首先研究了这 种方法的一些性质 . 3.3 极大似然估计 3.3.1 引言及定义 * 极大似然法的基本思想 引例1 一只野兔从前方窜过 . 是谁打中的呢？ 某位同学与一位猎人一起外出打猎 . 如果要你推测， 你会如何想呢? 只听一声枪响，野兔应声倒下 . * 其数学模型为 令X为打一枪的中弹数，则X~b(1,p), p未知.设想我们事先知道p只有两种可能: p=0.9 或 p=0.1 要估计总体 X 的参数p的值 * 当兔子不中弹，即{X =0}发生了 现有样本观测值x =1, 什么样的参数使该样本值出现的可能性最大呢？ 若p=0.9，则P{X=1}=0.9 若p=0.1，则P{X=1}=0.1 若p=0.9，则P{X=0}=0.1 若p=0.1，则P{X=0}=0.9 当兔子中弹，即{X =1}发生了 * 极大似然估计法的基本思想： 根据样本观测值，选择参数p的估计 ，使得样本在该样本值附近出现的可能性最大 * 猎人命中的概率一般大于这位同学命中的概率, 看来这一枪是猎人射中的 . 一枪打中 猎人 同学 哪个概率大？ * 当试验中得到一个结果(上例中指一枪 打中)时,哪个 p 值使这个结果的出现具 有最大概率就应该取哪个值作为 p 的估 计值.