2-3 最小方差无偏估计和有效估计.ppt

湘潭大学数学与计算科学学院 一、均方误差准则 §2.3 最小方差无偏估计 一、最小方差无偏估计 一、均方误差的准则 二、一致最小方差无偏估计 计优劣的一个自然准则可定义如下： 称上式为均方误差， Mean Squared Error 简记为MSE。 确定，即 其中 偏差 （bias）。 例 MLE的均方误差。 解： 从均方误差可知，我们自然希望估计的MSE 越小越好。 对所有的 成立， 估计。 因为 倘若这样的估计 存在， 不存在。 平凡估计 Trivial Estimate 由此可见，均方误差一致达到最小的 最优估计并不存在，那么应如何评判和寻找 优良的估计呢？方法之一是对估计提出一些 合理性的要求，将那些诸如不合理的平凡估 计排除在外，然后在满足合理性要求的估计 类中寻找优良的估计。无偏性便是一种常用 的合理性要求。 由定义2.2可知无偏估计的均方误差就是它 在均方误差准则下，既然最好的估计不存 的无偏估计（一致最小方差无偏估计）是否 那么现在的问题是对无偏估计类 而 在， 若存在，它是否是唯一的？ 言，同样在均方误差（方差）准则下，最好 存在？ 如何求？ 这些就是我们下面需要讨论的主题。 1. 定义 目的是: 寻找一个最有效的估计量. 记为：MVUE. 由定义2.4知，最小方差无偏估计（MVUE）是在无偏估计类中，使均方误差达到最小的估计量，即在均方误差最小意义下的最优估计。它是在应用中，人们希望寻求的一种估计量。 定理2.7给出了最小方差无偏估计的一种判别方法，但由上例可见，该判别法使用并不方便，而且还只是一个充分条件。为了寻求更好的方法，需要借助充分统计量甚至充分完备统计量的概念。 由于仍然是充分统计量且作为 的估计量，可称之为充分估计量，上述定理表明，要寻找 的最小方差无偏估计，只需在无偏的充分估计量类中寻找就足够了。假若的充分无偏估计量是惟一的，则这个充分无偏估计量就一定是最小方差无偏估计量。那么，在什么情况下，它才是惟一的呢？显然，如果它又是完备统计量，便可保证其惟一性。 注意: 定理2.9提供了一种寻求的最小方差无偏估计量的方法，即先找到的一个充分完备统计量和一个无偏估计，再求条件数学期望即可。例如，对泊松总体，由例1.9知是参数的充分完备统计量且又是的一个无偏估计，所以是的最小方差无偏估计。 即是的一个无偏估计，故由定理2.9， 定理2.7 设是的一个无偏估计，，若对任何满足条件：的统计量，有 ， 则是的MVUE。共中。 证明 设是的任一无偏估计，记，则为0的无偏估计，由于 ， 故是的MVUE。 例2.19 设是来自正态总体的一个样本，已知和分别是和的无偏估计，证明和分别是和的MVUE。 证明 设满足，则有 。 （2.15） 上式关于求导，得 ， 故有 ， 所以是的MVUE。 式（2.15）关于求二阶导数，得 式（2.15）关于求导，得 。 利用，可得 , 故有 所以是的MVUE。 定理2.8 设总体的分布函数为是未知参数，是来自总体的一个样本。如果是 的充分统计量， 是 的任一无偏估计，记，则有 ，对一切， （2.16） ，对一切， （2.17） 即是的最小方差无偏估计。 定理2.9 设总体的分布函数为 为其样本，若是的充分完备统计量，为的一个无偏估计，则 （2.18） 为的惟一的最小方差无偏估计。 证明 设和是的任意两个无偏估计，由定理3.7知，和也是的无偏估计， 即对一切，有 ， （2.19） 且 ， 。 由式（2.19）得 ，对一切。 由于是完备统计量，由定义1.5得 ，对一切， 即的充分偏估计是惟一的。再由定理2.7知，是的最小方差无偏估计。 例2.20 设总体为其样本，由例1.10，是的充分完备统计量，又分别为和的无偏估计，于是，由定理2.8 ， 。 分别是和惟一的最小方差无偏估计。 例2.21 设是来自总体服从区间上均匀分布的一个样本。求的最小方差无偏估计。 解 样本的联合分布为 其中、为最小、最大次序统计量的取值，为示性函数，即 由因子分解定理1.3知，是的充分统计量。其分布密度为 易验证该分布族是完备的，因而是的充分完备统计量。 又因 是的最小方差无偏估计。 最小方差无偏估计和有效估计是在某种意义下的最优估计，两者既有区别又有密切的关系。如果求出参数的一个估计量，判别其是否为最小方差无偏估计或有效估计，显然具有重要的意义。倘若能直接求出参数的最小方差无偏估计或有效估计，则将更加令人满意，本节将研究这些问题。