最小方差无偏估计.pptVIP

第1页，共18页，星期日，2025年，2月5日以下定理说明：好的无偏估计都是充分统计量的函数。定理6.3.2设总体概率函数是p(x,?)，x1,x2,…,xn是其样本，T=T(x1,x2,…,xn)是?的充分统计量，则对?的任一无偏估计，令，则也是?的无偏估计，且第2页，共18页，星期日，2025年，2月5日定理6.3.2说明：如果无偏估计不是充分统计量的函数，则将之对充分统计量求条件期望可以得到一个新的无偏估计，该估计的方差比原来的估计的方差要小，从而降低了无偏估计的方差。换言之，考虑?的估计问题只需要在基于充分统计量的函数中进行即可，该说法对所有的统计推断问题都是正确的，这便是所谓的充分性原则。第3页，共18页，星期日，2025年，2月5日例6.3.1设x1,x2,…,xn是来自b(1,p)的样本，则是p的充分统计量。为估计?=p2，可令由于，所以是?的无偏估计。这个只使用了两个观测值的估计并不好.下面我们用Rao-Blackwell定理对之加以改进：求关于充分统计量的条件期望，得第4页，共18页，星期日，2025年，2月5日6.3.2最小方差无偏估计定义6.3.1对参数估计问题，设是?的一个无偏估计，如果对另外任意一个?的无偏估计，在参数空间Θ上都有则称是?的一致最小方差无偏估计，简记为UMVUE。如果UMVUE存在，则它一定是充分统计量的函数。第5页，共18页，星期日，2025年，2月5日定理6.3.3设x=(x1,x2,…,xn)是来自某总体的一个样本，是?的一个无偏估计，如果对任意一个满足E(?(x))=0的?(x)，都有则是?的UMVUE。关于UMVUE，有如下一个判断准则。第6页，共18页，星期日，2025年，2月5日例6.3.2设x1,x2,…,xn是来自指数分布Exp(1/?)的样本，则T=x1+…+xn是?的充分统计量，而是?的无偏估计。设?=?(x1,x2,…,xn)是0的任一无偏估计，则两端对?求导得这说明，从而由定理6.3.3，它是?的UMVUE。第7页，共18页，星期日，2025年，2月5日6.3.3Cramer-Rao不等式定义6.3.2设总体的概率函数P(x,?),?∈Θ满足下列条件：(1)参数空间Θ是直线上的一个开区间；(2)支撑S={x:P(x,?)0}与?无关；(3)导数对一切?∈Θ都存在；(4)对P(x,?)，积分与微分运算可交换次序；(5)期望存在；则称为总体分布的费希尔(Fisher)信息量。第8页，共18页，星期日，2025年，2月5日费希尔信息量是数理统计学中一个基本概念，很多的统计结果都与费希尔信息量有关。如极大似然估计的渐近方差，无偏估计的方差的下界等都与费希尔信息量I(?)有关。I(?)的种种性质显示，“I(?)越大”可被解释为总体分布中包含未知参数?的信息越多。第9页，共18页，星期日，2025年，2月5日例6.3.3设总体为泊松分布P(?)分布，则于是第10页，共18页，星期日，2025年，2月5日例6.3.4设总体为指数分布，其密度函数为可以验证定义6.3.2的条件满足，且于是第11页，共18页，星期日，2025年，2月5日定理6.3.4（Cramer-Rao不等式）设定义6.3.2的条件满足，x1,x2,…,xn是来自该总体的样本，T=T(x1,x2,…,xn)是g(?)的任一个无偏估计，存在，且对一切