8 ML估计.ppt

第八章 ML估计 问题的引入 极大似然估计 极大似然估计的统计特性 假设检验 检验正态线性模型 QML法与矩条件检验 应用 §8.1 问题的引入Introduction GMM估计是建立在若干期望（矩条件）之上的，有观测值，但参数未知。 极大似然估计(Maximum likelihood estimation，ML)则建立在更强的假设之上：假设分布已知。 在某些实际应用的模型中，常常需要对分布做出一定的假设(如假设为正态分布)，否则估计过程将变得复杂，甚至不可能。 §8.2 极大似然估计Maximum Likelihood Estimation 一、基本概念 L(?)就是?的似然函数。 二、若干例子 例1[离散分布]：某巨大的盒子有许多红球与白球，假设感兴趣的是红球的比例p。 在一个随机抽取(重复抽样)的容量为n的样本中，记抽到红球为Yt=1，抽到白球为Yt=0，且有P{Yt=1}=p。 如果样本中有n1个红球，n-n1个白球，则得到该样本的概率为 P{n1个红球，n-n1个白球}=pn1(1-p)n-n1 （*） (*)的对数似然函数为 l(p)=n1ln(p)+(n-n1)ln(1-p) (**) 例2[连续分布：指数分布]：设Yt满足如下指数分布 f(Yt;?)=?e-?Yt, Yt0, ?0 Yt抽取是相互独立进行时，有如下似然函数： L(?)=f(Y;?)=f(Y1,?Yn;?)=?t=1n?e-?Yt=?ne-??Yt 注意： 指数分布中参数?的ML估计，恰为MM估计的解，但MM估计要复杂得多。 MM估计： Yt的1阶矩（期望）： E(Yt)=?0?Yt?e-?YtdYt= -?0?Ytde-?Yt = -Yte-?Yt|0?+ ?0?e-?YtdYt = -(1/?)e-?Yt |0? =1/? 例3[估计线性回归模型]：对经典线性模型 Y=X?+u, u~N(0,?2I) 在X的外生性假设下，易知 Y~N(X?,?2I) 或 Yt~N(Xt?,?2) Y的对数似然函数为： l(Y,?,?)= -(n/2)ln2?-(n/2)ln?2-(1/2?2)?(Yt-Xt?)2 =-(n/2)ln2?-(n/2)ln?2-(1/2?2)(Y-X?)’(Y-X?) 1阶极值条件： ?l/??=(1/?2)X’(Y-X?)=0 ?l/??2= -(n/2?2)+(1/2?4)(Y-X?)’(Y-X?)=0 三、MLE的一般估计 如果l是一全局凹函数，(***)给出唯一极值解。 1、两个重要概念 (1) 为了分析的方便，常称对数似然函数的1阶偏导为得分向量(score vector)或梯度(Gradient)： proof: 对于联合密度f(Y1,…,Yn;?)=L(Y;?)关于所有可能的Y求积分： ???f(Y1,…,Yn;?)dY1dY2?dYn=?L(Y;?)dY=1 对上式关于?求导： ? (?L/??)dY= 0 从而 E[g(?)]=?(?l/??)LdY= ?(?L/??)dY=0 (*) 由（*）式： ?(?l/??)LdY= 0 再关于?’求偏导： ?[(?2l/????’)L+(?l/??)(?L/??’)]dY=0 考虑到： ?L/??’= (?l/??’)L 从而： -?(?2l/????’)LdY= ?(?l/??)(?l/??’)LdY 于是： Var[g(?)]=E[g(?)g(?)’]= ?(?l/??)(?l/??’)LdY = -?(?2l/????’)LdY= -E[H(?)] §8.3 极大似然估计的统计特性Statistical Properties of MLE 极大似然估计量有许多良好的性质，因此得到了广泛的应用。这些性质主要是大样本性质或渐近性，它们在一般条件下都成立。这些性质包括： 一致性、渐近正态性、渐近有效性等。 一致性的证明： 对数函数在自变量的非负