第三课参数估计.docVIP

第三章 参数估计 统计推断就是推断总体分布，可以用经验分布估计理论分布，且增多样本可以逼近所要求的精度，但是这需要大量样本，现实中难以实现。 实际问题总是认为总体分布形式已知，而是不知其中几个参数，因此估计问题变为如何估计这几个未知参数，分成两大类：点估计和区间估计。 §3.1 点估计 设母体的分布函数形式已知，为待估未知参数向量，样本值为，点估计就是构造一个适当的统计量作为待估未知参数的近似值，统计量简单说就是样本值的函数，但是要求不可依赖未知参量，能够反映未知参量的信息，不同的未知参量对应了不同的统计量。如何构造呢？这里经典方法是矩估计方法和最大似然估计两种办法。 矩估计：子样的k阶原点矩，母体的k阶原点矩，假设=，那么我们就列L个方程=，求解。 例子：混合高斯分布 ， 给你样本值为，来估计未知参数。 解释：混合高斯分布的均值为零，二阶矩为 我们只有样本，那么就用样本二阶矩代替，，那么得出未知参数的估计值为 最大似然估计：比如连续分布的母体概率密度函数为，为待估未知参数向量，样本值为，对于各样本值进行排序，总能找到，那么发生在区间的概率 我们将上述发生概率最大的参数作为真实值的估计，那么就是使得似然函数最大即可，或者最大，记做 为使得上述最大 我们自然采取 来求解参数向量。 推论：统计量作为未知参数的最大似然估计，为的连续函数，那么为的最大似然估计。 例子：正态母体，给定样本值为X=（），其均值和方差的最大似然估计量？ 解：每个样本点都符合正态母体，那么我们构造似然函数为 = = 注意，这里整体看出未知参数。那么得出两个方程 由第一个方程解出来，代入第二个方程得出，可见最大似然估计的统计量和利用矩估计方法相同。 例子：上述求导数的方法并不是通用的，比如母体为区间的均匀分布 其他区间为零。那么给定样本值为X=（），求参量向量的最大似然估计量？ 解：我们构造似然函数为 ，那么我们得出，，得出才好，这个自然不对。再次看，为使得其最大，那么的差越小越好，尽量大，而尽量小，但是应该不是相等。那么由于都符合，因此， 因此，尽量大，只能最大取到，而尽量小，也只能小到，自然就取这两个极值作为估计量 实际应用： 二战期间，盟军承认德国坦克战斗力优于己方，问题是德国到底生产了多少坦克，了解坦克数量可以帮助盟军评估获胜几率。 为了解决该问题，盟军一开始动用了传统的情报收集方法：间谍活动、拦截和破译轴心国通讯，审讯俘虏。根据这些手段，盟军估计，从1940年6月到1942年9月，德国军工厂每月生产1400辆坦克。将该数目放到真实事件中对照：轴心国在斯大林格勒战役的8个月时间内共动用了1200辆坦克，显然每月1400辆是过高估计。因此盟军开始寻找其它方法进行推算，他们最后找到了重要线索：序列号。盟军缴获的每辆坦克都有一个独特的序列号，序列号显然有一个模式，代表了坦克生产订单。基于这些数据，盟军创造了一个数学模型去判断德国的坦克生产速度，他们发现德国在1940年夏天到1942年秋天期间，每月生产坦克255辆。根据战后获得的德国内部统计数字，坦克的真实生产速度是每月256辆，仅仅差了一辆。Ruggles, Richard; Brodie, Henry (March 1947), An empirical approach to economic intelligence in WWII, Journal of the American Statistical Association (American Statistical Association) 42 (237): 72–91 ?, doi:10.2307/2280189, JSTOR?2280189? 2：Volz, Arthur G. (July 2008), A Soviet Estimate of German Tank Production, The Journal of Slavic Military Studies 21 (3): 588–590, doi:10.1080/13518040802313902,? 3： Johnson, Roger (1994), Estimating the Size of a Population, Teaching Statistics 16 (2 (Summer)): 50, doi:10.1111/j.1467-9639.1994.tb00688.x ?.2s 估计量的评价 对于未知参数的估计量可以构造不同的类型，那么哪个估计量最好？最好的标准是什么？这个非常重要。 3.2.1 无偏性 作为未知参数的估计量，那么给一组样本就估计一个值，给很多样本估计出很多值，如果 = 则称为的无偏估计量。估计值在真值周围波动，但是其理论平均值收敛到