最小最大决策.pptVIP

*第1页，共24页，星期日，2025年，2月5日损失函数损失函数：度量真值与估计之间的差异损失函数举例平方误差损失绝对误差损失损失0-1损失Kullback-Leibler损失第2页，共24页，星期日，2025年，2月5日风险函数注意：估计是数据的函数，有时记为风险函数：平均损失估计的风险定义为对平方误差损失，风险为MSE风险是的函数比较不同的估计，转化为比较不同估计的风险但并不能清楚地回答哪个估计更好第3页，共24页，星期日，2025年，2月5日风险比较例12.3：令，损失函数：平方误差损失估计1：极大斯然估计：偏差bias=0，所以第4页，共24页，星期日，2025年，2月5日风险比较例12.3（续）:估计2：贝叶斯估计，先验为，则估计为风险为当时，，其中第5页，共24页，星期日，2025年，2月5日风险比较没有一个估计的风险在所有的p值都超过另外一个第6页，共24页，星期日，2025年，2月5日风险比较风险函数的两个单值概述最大风险贝叶斯风险其中为θ的先验。第7页，共24页，星期日，2025年，2月5日风险比较例12.5：最大风险函数：，所以根据最小最大风险，更好一些第8页，共24页，星期日，2025年，2月5日风险比较例12.5：贝叶斯风险：先验为当时，所以根据最小贝叶斯风险，更好一些问题：需要先验，尤其对复杂问题的话，确定先验可能很困难第9页，共24页，星期日，2025年，2月5日决策规则

(DecisionRules)决策规则是估计的别名最小化贝叶斯风险的决策规则称为贝叶斯规则或贝叶斯估计，即为对应先验f的贝叶斯估计其中下界是对所有的估计计算最小化最大风险的估计称为最小最大规则其中下界是对所有的估计计算第10页，共24页，星期日，2025年，2月5日贝叶斯估计估计的后验风险：贝叶斯风险与后验风险：其中为X的边缘分布为最小化后验风险的θ的值则为贝叶斯估计给定一个模型（先验和似然）和损失函数，就可以找到贝叶斯规则第11页，共24页，星期日，2025年，2月5日证明：第12页，共24页，星期日，2025年，2月5日贝叶斯估计一些简单损失函数对应的贝叶斯规则若，则贝叶斯规则为后验均值若，则贝叶斯规则为后验中值若为0-1损失，则贝叶斯规则为后验众数(MAP)第13页，共24页，星期日，2025年，2月5日最小最大规则找最小最大规则、或者证明一个估计是最小最大估计是一件很困难的事情。本节主要讲述一个简单的方法：有些贝叶斯估计（风险为常数）是最小最大估计令对应先验f的贝叶斯估计：假设则为最小最大估计，且f称为最小受欢迎先验(leastfavorableprior)。上述结论一个简单的结论：如果一个贝叶斯规则的风险为常数，则它是最小最大估计。第14页，共24页，星期日，2025年，2月5日正态分布的最小最大规则定理12.14：令，则是关于任意损失函数的最小最大规则且这是唯一有此性质的估计第15页，共24页，星期日，2025年，2月5日MLE为近似最小最大估计对满足弱正则条件的参数模型，极大似然估计近似为最小最大估计。对均方误差损失，通常根据Cramer-Rao不等式，这是所有无偏估计的方差的下界。第16页，共24页，星期日，2025年，2月5日MLE为近似最小最大估计因此对所有估计，有对大数n，MLE为近似最小最大估计。因此，对大多数参数模型，当有大量样本时，MLE近似为最小最大估计和贝叶斯估计。ManyNormalMeans情况不成立（不是大样本）第17页，共24页，星期日，2025