第六章 参数估计6.1节.pptVIP

第六章 参数估计 2011-4-12 作业 P291 2、6、8、10、12 一般, 设 X 为离散型随机变量, 其分布律为 则样本 X1, X2,…, Xn的概率分布为 7-21 或 称 L( ) 为样本的似然函数 I. 极大似然估计原理 设总体 X 的分布 (连续型时为概率密度，离散型时为概率分布) 为 f(x, θ) , X1,X2,…,Xn 是抽自总体 X 的简单样本。于是，样本的联合概率函数 (连续型时为联合概率密度，离散型时为联合概率分布) 为 被看作固定， 但未知的参数。 视为变量 将上式简记为 L(θ )，即 称 L(θ )为θ 的似然函数。 视为变量 视为固定值 假定现在我们观测到一组样本 X1, X2, …, Xn，要去估计未知参数θ 。 称 为θ 的极大似然估计 (MLE)。 一种直观的想法是：哪个参数(多个参数时是哪组参数) 使得现在的出现的可能性 (概率) 最大，哪个参数(或哪组参数)就作为参数的估计。 这就是 极大似然估计原理。 如果 θ 可能变化空间, 称为参数空间。 (4) 在最大值点的表达式中，代入样本值， 就得参数 θ 的极大似然估计。 II. 求极大似然估计(MLE)的一般步骤 由总体分布导出样本的联合概率函数(连 续型时为联合概率密度, 离散型时为联合 概率分布)； (2) 把样本的联合概率函数中的自变量看成 已知常数, 参数θ 看成自变量, 得到似然 函数 L(θ )； (3) 求似然函数 L(θ ) 的最大值点 (常常转化 为求ln L(θ )的最大值点) ，即 θ 的MLE; 两点说明： ● 求似然函数 L(θ ) 的最大值点，可应用微积分中的技巧。由于 ln(x) 是 x 的增函数，所以 ln L(θ ) 与 L(θ ) 在 θ 的同一点处达到各自的最大值。假定 θ 是一实数, ln L(θ )是 θ 的一个可微函数。通过求解似然方程 可以得到 θ 的MLE。 ● 用上述方法求参数的极大似然估计有时行不通，这时要用极大似然原理来求 。 若θ 是向量，上述似然方程需用似然方程组 代替 。 例：求正态总体 N(?, ?2) 参数 ? 和 ?2 的极大似然估计(注: 我们把 ?2 看作一个参数)。 解：似然函数为 对数似然函数为 似然方程组为 由第一个方程，得到 代入第二方程，得到 练习：设总体 X 服从泊松分布 P(? )，求参数? 的极大似然估计。 解：由 X 的概率分布函数为 得? 的似然函数 似然方程为 对数似然函数为 其解为 换成 换成 得? 的极大似然估计 例 设 X ~ U (a,b), x1, x2,…, xn 是 X 的一个 样本值, 求 a , b 的极大似然估计值与极大 似然估计量. 解 X 的密度函数为 似然函数为 7-30 例8 似然函数只有当 a xi b, i = 1,2,…, n 时 才能获得最大值, 且 a 越大, b 越小, L 越大. 令 xmin = min {x1, x2,…, xn} xmax = max {x1, x2,…, xn} 取 则对满足 的一切 a b , 7-31 都有 故 是 a , b 的极大似然估计值. 分别是 a , b 的极大似然估计量. 7-32 问 题 待估参数的极大似然估计是否惟一? 设 X ~ U ( a – ?, a + ?), x1, x2,…, xn 是 X的一个样本, 求 a 的极大似然估计值. 解 由上例可知, 当 时, L 取最大值 1, 即 显然, a 的极大似然估计值可能不惟一. 7-33 例 例9 不仅如此, 任何一个统计量 若满足 都可以作为 a 的估计量. 7-34 解：似然函数为 练习：设 X1, X2,…,Xn 是抽自总体 X 的一个样本，X 有如下概率密度函数 其中θ 0为未知常数。求θ 的极大似然估计。 也可写成 求导并令其导数等于零，得 解上述方程，得 极大似然估计的不变性 设 是? 的极大似然估计值, u(? ) (? ? ? )是? 的函数, 且有单值反函数 ? = ? (u), u?U 则 是 u(? ) 的极大似然估计值. 7-35 不变性 如 在正态总体N (?,? 2)中, ? 2的极大 似然估计值为 是? 2的单值函数, 且具有单值 反函数，故? 的极大似然估计值为 lg? 的极大似然估计值为 7-36 *