第二节极大似然估计.ppt

第 202 页4 , 5 * 概率统计 第二节 极大似然法 极大似然法是在总体类型已知条件下使用的一种参数估计方法 。 它首先是由德国数学家高斯（ Gauss）在 1821 年提出的 。 Fisher 然而，这个方法常归功于英国统计学家费歇（ Fisher ），费歇在 1922 年重新发现了这一方法， 并首先研究了这种方法的一些性质 。 Gauss 极大似然法的基本思想 引例 1 若某位同学与一位猎人一起外出打猎 。 一只野兔从前方窜过，只听一声枪响，野兔应声倒下 。 试推测：这是谁打中的呢 ？ 因为只发一枪便打中，猎人命中的概率一般大于这位同学命中的概率。于是可推测这一枪是猎人射中的 . 引例 2 设X ~ B(1, p), p 未知，若事先知道 p 只有两 种可能: 试问：应如何估计 p ? P = 0.7 或 p = 0.3 如今重复试验 3 次，得结果: 0 , 0, 0 由概率论的知识，可知： 3 次试验中出现 “1” 的次数 k = 0, 1, 2, 3 分析： 且： 现将这计算结果列出如下： 将计算结果列表如下： p值 P(Y=0) P(Y=1) P( Y=2) P(Y=3) 0.7 0.027 0.189 0.441 0.343 0.3 0.343 0.441 0.189 0.027 出现 估计 出现 出现 出现 估计 估计 估计 0.343 0.441 0.441 0.343 注: 引例1与引例2都体现了极大似然法的基本思想 ： 当试验中得到一个结果时，应选择使得这个试验结果出现的概率达到最大的这个值作为参数的估计值 定义: 作似然函数： (1). 极大似然估计量的定义 是相应于样本 的一组样本值。 其中： 设总体X的概率密度函数为 或分布律为 为未知参数。又设 使得似然函数 L 达到极大值的 或 称为参数 的极大似然估计值，记为： 为参数 的极大似然估计量 注: 或随机点 取到 的概率。 (它与样本值有关)， 似然函数 L 是随机点 落在点 的邻域 （边长分别为 的 n 维立方体) 内的概率； ▲ ▲ 似然函数 L 是 的函数。 记统计量： 思路: 从而此问题就转化为一般的求函数的最大值问题. (2). 极大似然法的具体步骤 取到 现要求 的最大值，即求 取什么值时函数 L 达到最大。即其随机点 落在 的邻域内的概率或 随机点 的概率最大。 具体步骤 (1) 作似然函数 (2) 当似然函数可微且 的最大值能在参数空间 取得时，求方程组: 的解，解得 一解为 ，则 为极大似然估计量（值）。 注: ▲ 因为 与 有相同的最大值点，而且 对数函数是单调增的， 求 比求 方便，所以常取前者作为似然函数。 或 ▲ 按照求函数极值的方法，在求方程组： 的解后还应该用极值的充分条件 对解做进一步的判断； ▲ 当似然函数不可微或方程组无解时，则应根据定 义直接寻求能使 达到最大值的解作为极大 似然估计量。 ▲ 极大似然估计法适用于多个未知参数的情形。 但又由最值原理，如果最值存在，此方程组求得的驻点即为所求的最值点。极大似然估计法一般属于这种情况，所以可直接按步骤(2)求的其值。 例1. 求: 的极大似然估计量 是 X 的一个样本值 设 为未知参数， 解: 的密度函数为： 作似然函数： 为计算方便对 L 两边取对数得: 令： 解得所求为: 与矩估计法所得的的结论是一致的（见例1） 例2. 设 为参数都是未知的正态总体的 一个样本 求: 的极大似然估计 解: 未知 由例 3可知： 的极大似然估计为