[工学]西安交大自动化专业多传感器信息融合Ch2-1.pptVIP

第二章 参数估计 2.1 参数估计的基本概念与方法 目录 1 参数估计的基本概念 2 参数估计的常见方法 2.1 矩估计法 2.2 极大似然估计 2.3 极大后验概率估计 2.4 最小二乘估计 2.5 最小均方误差估计 参数估计的基本概念 参数(parameter)：针对静态系统，指的是不随时间变化的量（或者变化很小的量） 状态(state): 针对动态系统，随时间变化的量 参数估计的基本概念 参数估计的基本概念 点估计：用一个数来估计参数 区间估计：用一个区间来估计参数 参数估计的基本方法（1） 矩估计法 基本思想： 用样本的k阶原点矩估计整体的k阶原点矩， 用样本的k阶中心距估计整体的k阶中心距 参数估计的基本方法（2） 极大似然估计 基本思想： 在取得若干个观测数据之后,应选择这样的数值作为参数的估计：当未知参数取这一个数值时,得到上述观测数据的可能性最大. 参数估计的基本方法（3） 极大后验概率估计 基本思想： 针对随机参数估计问题，通过最大化后验概率分布函数得出 全概率公式： P(A)=P(A|B1)*P(B1) + P(A|B2)*P(B2) + ... + P(A|Bn)*P(Bn). 参数估计的基本方法（4） 参数估计的基本方法（5） 最小均方误差估计 基本思想： 针对随机参数，使估计值与随机参数之间的均方误差最小的估计值 针对如下问题： 最小二乘（Least Squares）估计公式为： 例9： 针对以下参数估计问题： 如果噪声为0均值的高斯白噪声， 证明：在此情况下最小二乘估计与极大似然估计是等价的 证明： 根据极大似然估计和最小二乘估计的定义，它们是等价的 * * 假设x为被估计的参数， 给定测量值： 找到一个测量值的函数： 其中： 此函数即为对参数x的估计 估计误差为： 要估计某班学生的平均身高，假设平均身高为x。对学生身高进行5次抽样，设这5个数是: 1.65 1.67 1.68 1.78 1.69。 例1： 如果估计x为1.69，这是对身高的点估计 如果估计x以90%的概率在[1.67,1.72]，这是对身高的区间估计 某类型电子元器件寿命服从均匀分布 Z ~ U (0,? ) ， ? 是未知参数， Z1，…，Zn是一组样本，求? 的矩估计。 例2： 解： 例3： 某类型电子元器件寿命服从均匀分布 Z ~ U (?1,?2 ) ， ?1， ?2是未知参数， Z1，…，Zn是一组样本，均值为 ,方差为 求?1， ?2 的矩估计。 解： 定义似然函数(Likelihood Function)为： 极大似然（Maximum Likelihood)估计的定义为： 似然函数的意义： (1). 如果总体是离散的，则它是样本联合分布律； (2). 如果总体是连续的，则它是样本联合密度函数。 求解时，一般有两种方法： （1）定义法 （2）对似然函数的对数求导，得出似然方程，让似然方程等于0，从而求出参数 例4： x是含有额外测量噪声的未知参数，噪声服从高斯分布，z为对参数的单次观测 求参数x的极大似然估计。 解： 例5： x是含有额外测量噪声的未知参数，噪声服从高斯分布，z(j)为对参数x的第j次观测 求参数x的极大似然估计。 答案： 设总体 ，求参数 的最大 似然估计量 . 设 是总体 的样本， 例6： 解： 每一个样本的密度函数为： 似然函数为： 解方程得： 应用条件：参数是一个具有先验概率分布函数为p(x)的随机变量。假设通过已知的p(x)得到x的一个实现已经发生；这个先验概率在测量的过程中保持不变。 基本工具：贝叶斯公式 例6： 高射炮向某敌机发射三发炮弹，每弹击中与否相互独立且每发炮弹击中的概率均为0.3，又知敌机若中一弹，坠毁的概率为0.2，若中两弹，坠毁的概率为0.6，若中三弹，敌机必坠毁。求敌机坠毁的概率。 解： A=敌机坠毁，Bi=敌机中i弹 P(B0)=0.343, P(B1)=0.441, P(B2)=0.189, P(B3)=0.027 P(A)=P(A|B1)*P(B1) + P(A|B2)*P(B2) + P(A|B3)*P(B3) =0. 2*0.441+0.6*0.189+1*0.027 =0.2286 例7： P(Bi|A)=P(A|Bi)*P(Bi)/P(A) 接例5，已知敌机坠毁，请问敌机是中2弹坠毁的概率是多少？ 贝叶斯公式： P(B2|A)=