寻求估计量的方法.pptVIP

* 寻求估计量的方法 1. 矩估计法 2. 极大似然法 3. 最小二乘法 4. 贝叶斯方法 …… 这里我们主要介绍前面两种方法 . 一、矩估计法 其基本思想是用样本矩估计总体矩 . 理论依据: 或格列汶科定理 它是基于一种简单的“替换”思想建立起来的一种估计方法 . 是英国统计学家K.皮尔逊最早提出的 . 大数定律 由大数定理知， 当总体的 阶矩存在时， 样本的 阶矩依概率收敛于总体的 阶矩. 例如， 量, 一般地, 总体 阶矩 样本 阶矩 可用样本均值 作为总体均值 的估计 记 总体 阶中心矩 样本 阶中心矩 用相应的样本矩估计总体矩的方法就称为矩估计法, 相应的估计量称为矩估计量， 相应的估计值称为矩 估计值， 矩估计量与距估计值称为矩估计. 求矩估计的方法 参数 则 （1） 一般都是这 个未知参数的函数, （*） （2） 设总体 的分布函数 中含有 个未知 的前 阶矩 求总体 记为 从(*)中解得 （3） 的估计量 分别代替上式 再用 即可得 的矩估计量： 注： 求 类似于上述步骤， 最后用 代替 求出矩估计 的 中 例1 设总体 的概率密度为 其中 是未知参数, 样本, 求参数 的矩估计. 解 数学期望是一阶原点矩 是取自 的 其样本矩为 而 即为 的矩 估计. 完 例2 设总体 在 上服从均匀分布, 未知. 解 试求 的矩估计 即 解得 是来自 的样本, 量. 注意到 以 代替 得到 的矩估计量分别为 完 例3 设总体 的均值 及方差 都存在, 但 均为未知, 又设 是来自 的样 试求 的矩估计量. 解 得到 以 代替 得 和 的矩估计量分别为 且有 本, 注: 本例表明, 总体均值与方差的矩估计量的表达式 不因不同的总体公布而异. 例4 设总体 的概率分布为 求 的矩估计值. 解 先求总体一阶原点矩 一阶样本矩 由 得 推出 现抽得一个样本 为未知参数. 其中 估计值 所以 的矩 完 矩法的优点是简单易行,并不需要事先知道总体是什么分布 . 缺点是，当总体类型已知时，没有 充分利用分布提供的信息 . 一般场合下, 矩估计量不具有唯一性 . 其主要原因在于建立矩法方程时，选取那些总体矩用相应样本矩代替带有一定的随意性 . 二、极大似然法 是在总体类型已知条件下使用的一种参数估计方法 . 它首先是由德国数学家 高斯在1821年提出的 , Gauss Fisher 然而，这个方法常归功于 英国统计学家费歇 . 费歇在1922年重新发现了 这一方法，并首先研究了这 种方法的一些性质 . 极大似然法的基本思想 先看一个简单例子： 一只野兔从前方窜过 . 是谁打中的呢？ 某位同学与一位猎人一起外出打猎 . 如果要你推测， 你会如何想呢? 只听一声枪响，野兔应声倒下 . 你就会想，只发一枪便打中,猎人命中的概率一般大于这位同学命中的概率. 看来这一枪是猎人射中的 . 这个例子所作的推断已经体现了极大似然法的基本思想 . 最大似然估计法的思想： 在已得到试验结果的情况 下， 应寻找使这个结果出现的可能性最大的那个 值作为 的估计 似然函数的概念 离散型总体的情形： 设总体 的概率分布为 其中 为未知参数. 如果 是取自总体 的样本 , 值为 则样本的联合分布律 对确定的样本观察值 它是未知参数 样本的观察 的函数， 记为 并称为似然函数. 连续型总体的情形： 设总体 的概率密度为 其中 为未知参数， 此时定义似然函数 似然函数 的值的大小意味着该样本值出现的可 能性的大小， 在已得到样本值 的情况下, 计 这种求点估计的方法称为最大似然估计法. 则应选择使 达到最大值的那个 值作为 的估 定义 若对任意给定的样本值 存在 使 则称 为 最大似然估计值， 称相应的统计时 为 最大似然估计 量, 它们统称为 的最大似然估计(MLE). 求未知参数 的最大似然估计问题， 归结为求似然 函数 的最大值点的问题. 当似然函数关于未 参数可微时， 可利用微分学中求最大值的方法求之. 其主要步骤： （1） （2） 求出驻点； 写出似然函数 或 令 注： 因函数 是 的单调增加函数， 且函数 与函数 有相同的极值点， 故常转化为求函数 的最大值点较方便. *