应用数理统计cha份pter3.3.pptVIP

第三章 点估计（三） § 3.1 预备 § 3.2 矩估计 § 3.3 极大似然估计 § 3.5 Cramer-Rao不等式 似然函数和概率函数是同一表达式,但含义不同. 如果某统计量 满足 则称 是? 的极大似然估计 (Maximum Likelihood Estimate)，简记为MLE。 对正态总体N(?,? 2), ? =(?,? 2)是二维参 数，设有样本x1, x2 , …, xn，求? 的MLE. 虽然求导函数是求极大似然估计最常用的方法，但并不是在所有场合求导都是有效的。 设x1 , x2 , …, xn是来自正态总体N(? ,? 2) 的样本，求如下参数的MLE: * * 浙江财经学院本科教学课程 应用数理统计 § 3.3 极大似然估计 思想方法：一次试验就出现的事件有较大的概率 例如: 有两外形相同的箱子,各装100个球 一箱 99个白球 1 个红球 一箱 1 个白球 99个红球 现从两箱中任取一箱, 并从箱中任取一球, 结果所取得的球是白球. 问: 所取的球来自哪一箱? 答: 第一箱. 极大似然估计就是通过样本观察值 求得总体的 分布参数,使得 取值为 的概率最大. 似然函数 似然函数的定义 (Likelihood function). 似然函数的定义 X~P (λ), 即 当样本X 为 ( x1, x2 , …, xn )时，求样本的 似然函数. 例 解： 注: 概率函数: 将? 固定, 将其看成定义在样本空间 上的函数； 似然函数: 将 x 固定, 将其看成定义在参数空间 ?上的函数； 称 lnL(? ) 为对数似然函数,记为 l (? ; x ). 对数似然函数: 引例 设罐子里装有黑球和红球，它们的比例是 1:3,但不知道是黑球多还是红球多，则从中抽出一球为黑球的概率?为 ? 或 ? . 现从罐子里有放回地抽出 n 个球，试根据样本数据，估计 ? 的值为 ? ，还是 ?？ 解： 令Xi 表示第i 次抽球的结果，即 任务： 27/64 27/64 9/64 1/64 L(? 2; x) 1/64 9/64 27/64 27/64 L(? 1; x) 3 2 1 0 x 结论： 问题 结论： 若 这正是“极大似然”一词的由来. 称 lnL(? ) 为对数似然函数,记为 l (? ; x ). 由于很多分布族的p.d.f.中含有x的指数形式,人们通常习惯于由对数似然函数lnL(? )出发寻找? 的极大似然估计. 极大似然估计 定义 注: 当L(? )是可微函数时，求导是求极大似然估计最常用的方法. 因为L(? )与lnL(? )有相同的极值点，一般对lnL(? )求导更加简单些. 极大似然估计的求法 ① 微分法； ② 定义法. 微分法 的解. 定义法 当似然函数L(? )有不连续点时，似然方程没有意义，须从定义出发求极大似然估计. 如果 是? 的极大似然估计，则对任一函数 g(? )，其极大似然估计为 . 性质 该性质称为极大似然估计的不变性. 例 解： (1) 似然函数为 对数似然方程为 (2) 根据极大似然估计的不变性，有 例 解： (1) 似然函数为 对数似然函数为 对数似然方程为 (2) 根据极大似然估计的不变性，有 例 解： 似然函数与对数似然函数分别为 将 l(?,? 2) 分别关于两个分量求偏导并令其为0, 即得到似然方程组 解此方程组，可得? 与? 2的MLE为 设x1, x2 , …, xn是来自均匀总体U(0, ? )的样本,试求? 的极大似然估计. 例 解： 似然函数为 要使L(? )达到最大，要满足两个条件: (1)示性函数取值为1; (2) 1/? n 取到最大. ? 取到最小. 设x1, x2 , …, xn是来自均匀总体U(0, ? )的样本,试求? 的极大似然估计. 例 解： 似然函数为 要使L(? )达到最大，要满足两个条件: (1)示性函数取值为1; (2) 1/? n 取到最大. ∩ (1) 标准差? ；(2) 概率 例 解： 已知 ? 和? 2 的极大似然估计为 由不变性可得如下参数的极大似然估计 (1) (2) 练习 §3.3 作业 *