第八章 经典估计理论1 -2.pptVIP

第八章 经典估计理论 本章重点： 1、Bayes估计、最大后验估计和最大似然估计三个经典估计准则的内容及应用。 2、估计量的性质:无偏性、一致性、充分性和有效性。 本章难点：运用估计准则求参数估计并分析其性质 8.6 估计量的性质 8.6.1 无偏性 由于样本的随机性，对于个别样本，其估计值可能偏大或偏小。然而一个好的估计量，从平均值来看，应该等于被估计参数。即 作为一个随机变量，它所取的值应集中在未知参数的真值或均值附近。 若 不等于 ，则称 为有偏估计量，差值 称为估计量的偏差或偏量。 估计量的无偏性保证了估计值总是分布在被估计量的均值附近，是估计量应具有的一种良好性质。 8.6.2 一致性 对于一个好的估计量，当样本数无限增大时，其值便趋近于被估量的真值。 设 是未知参数 的估计量，当观测样本数 时，估计量 依一定概率收敛于被估计参量 ，则称 为 的简单一致估计量。 即对任意给定的 ，有 或等价于 可以看出，简单一致估计量随着观测样本数的增加而变得更好，即估计误差 的绝对值为任意小的概率，随着n的增加而趋近于1。 若随着接收样本数n的增加，估计均方误差的极限 则称 为 的均方一致估计量。 8.6.3 充分性 设未知参量的估计量为 。如果似然函数可以分解为下列乘积形式： 其中， 为 已知条件下，估计量 的概率密度函数，函数 与 无关，则称 具有充分性，为充分估计量。 充分估计量的意义是指没有别的估计量可以提供比充分估计量更多的关于被估计参量 的信息。 8.6.4 有效性 在符合一致性和无偏性的估计量中，应选择数值最集中的估计量。估计量 方差越小，说明估计值 相对于被估计值 的偏离程度就越小，就更集中于 的均值附近。 设 、 为未知参量 的两个无偏估计量，若他们的方差满足不等式 则称 比 更有效。 具有最小方差的无偏估计量称为有效估计量。 作业 P145 5 * * 前面已经讨论了几种构造估计量的方法。 既然对于同一个未知信号参数，可用多种不同的方法来构造估计量，可能产生不同的结果，这就涉及到评价估计量性能的标准。 本节讨论估计量的性质，给出衡量估计量逼近真值程度的一些度量。实质上就是评价估计量好坏的一些性能指标。其目的是了解估计量和更好地选用估计量。 如果估计量 的均值(数学期望)等于被估计参量 的均值，则称此估计量具有无偏性，为无偏估计量，数学表达式为 若被估计参量为确定的，即 ，则无偏性可表示为 无偏性是一个所期望的性能，但是有时候一个有偏的估计量也可能是非常有用的，如果它具有渐近性的话。 若 满足关系式 （其中 n为样本数），则称为渐近无偏估计。 “渐近”一词是指样本数n趋向无限大时的极限性能。 若 为无偏估计量，则 即估计误差为零均值。 的方差就是其均方误差，即 一致估计的特点是：估计量的性质与渐近无偏估计量一样，与观测样本数目有关。随着n的增大，估计值的概率密度分布必然越来越集中于真值的附近。这就是通过重复测量来减小测量误差的理论根据。 均方一致估计表明：随着接收样本数n的增加，均方一致估计量估计误差的方差减小。 几种性质的特点： 无偏性是说估计量虽有误差，但在重复观测的条件下，估计量总是在参数真值附近随机分布; 有效性则说明估计量接近于真值的程度，它实际上给出了估计量误差的理论极限; 渐近无偏性和一致性则给出了改善估计精度的途径，即通过增加观测样本数n来改善估计精度。 8.7 克拉美—罗不等式 (Cramer-Rao) 一个估计量最基本的特征体现在偏差和方差上。精确地表示方差往往是困难的。在这些情况下，希望得到方差(或均方误差)可能达到的一个下限。 克拉美—罗不等式给出了估计的方差下限，也就是说，此下限就是有效估计量的方差，实际的估计方差不可能再低于它。 * * *