实验数据处理方法.pptVIP

实验数据处理方法 第六章 参数估计 (Parameter estimation) 6.1 参数估计的基本概念 6.1 参数估计的基本概念 6.1 参数估计的基本概念 6.1 参数估计的基本概念 6.1 参数估计的基本概念 6.1 参数估计的基本概念 6.1 参数估计的基本概念 6.1 参数估计的基本概念 6.1 参数估计的基本概念 6.1 参数估计的基本概念 6.1 参数估计的基本概念 * * 6.1 参数估计的基本概念 总体的概率密度函数(pdf)：f(x|?) ?：未知参数 x：实验可测量量 随机样本(容量为n)： xi：独立的随机变量 一、基本定义 1、似然函数(Likelihood Function, LF): 由于xi是相互独立的随机变量，因而在给定的?值下获得测量量x1,x2,…,xn的联合条件概率为(Joint Conditional Probability) (1)似然值(Likelihood)： 如果?和xi都为固定值，则称L 为在特定的?值下，观测量x1,x2,…,xn的似然值； (2)似然函数(LF)： 如果将L看成是?的函数，而xi固定，则称L为似然函数； (3)可测量量xi得pdf： ?固定，L是xi的函数 2、统计量(Statistic)： 如果t=t(x1,x2,…,xn)是样本变量xi的函数，且不依赖于任何的未知参数?，则称t为统计量 例：样本的平均值和方差： 3、估计式(Estimator)： 如果统计量t给出了未知参数?的估计值，则称t为?的估计式，即 例：样本平均值 和方差s2分别是总体平均值?和方差?2的估计式。 参数估计的目标之一就是求出未知参数的估计式 二、估计式的特性 由估计式t得到的参数?的估计值 是随机变量，将满足某种分布，这种分布的特性将反映该估计式的好坏 判断估计式好坏的标准： (1)一致性(Consistency)：样本容量为无限大时估计式的特性 (2)无偏性(Unbiassedness)：样本容量为有限时估计式的特性 (3)最小方差(Minimum variance) 有效性(Efficiency) 估计式的分布特性 (4)充分性(Sufficiency)：估计式是否包含了样本中所包含的有关?的所有信息 1、一致性(Consistency): 如果一个估计式的值当样本容量增加时收敛到待估参数的真值，则称该估计式具有一致性 概率语言的一致性描述： 如果估计值?n是从容量为n的样本得到的，则对于给定的正数?和?，存在着正整数N，使得对所有的nN，| ?n- ?| ?的概率小于? P(| ?n- ?| ?) ? 即，当n??时， ?n? ? 例: 样本平均值 是总体平均值?的一致性估计式 根据大数定理：当n??时， ? ? 2、无偏性(Unbiassedness): 对于任意大的样本，如果估计式t的期望值都等于参数的真值? 则称t是?的无偏估计式 无偏性保证了估计式的值不会系统地偏离参数?的真值； 一致性和无偏性是不相关的，具有一致性并不等于具有无偏性 一致性和无偏性是对参数估计式的基本要求，因为参数估计的目的就是求?的真值。 注： 3、最小方差和有效性 估计值 是随机变量，服从一定的分布，好的估计式给出的估计值的方差应尽可能地小。 假定： (1)对所有的?，L(x| ?)对?的一、二阶导数存在； (2)变量x的定义域与?无关； 则由估计式得到的估计值的方差存在着一个下限 设t是?(?)的估计式， ?(?)为 ?的函数，估计值的偏差为b(?) 估计式t的方差V(t)满足下列Cramer-Rao不等式： ?最小方差限(Minimum Variance Bound, MVB) 有效估计式：方差等于最小方差限的估计式 t为有效估计式的充分必要条件： 在实际应用中，有效估计式只是在有限的几类参数估计问题中存在。 例如：泊松分布样本的样本平均值是泊松总体平均值的有效估计式 4、充分性(Sufficiency) 设t是参数?的估计式，如果测量量中所包含的有关?的信息都包含在t内，则称t为?的充分估计式 充分估计式的存在有利于数据的浓缩(Data Reduction)： t中所包含的有关?的信息与原始数据中的一样多；或者：任何其它的原始数据的函数都给不出更多的有关参数?的信息 R.A.Fisher的信息的定义： 由观测量x给出的有关未知参数?的信息量的定义： 如果?是k维的 根据此定义，若t为?的充分估计式，则 It(?)=Ix(?) t 是参数?的充分估计式的充分必要条件：似然函数L(x| ?)可分解为如下的形式： 其中： H(x)与参数?无关； G(t| ?)是估计式t的函数，表示在?一定的条件下t得pdf 可证：有效估计式总是具有充分性 注：