最小最大决策2解析.pptVIP

* * * * * 最小最大规则不太好求，所以我们先将Bayesian规则 然后讨论一些常用估计是否是最小最大规则和Baysian规则 * 对后验风险积分，去掉x的影响，就是贝叶斯风险 使得后验风险最小的估计，也使得贝叶斯风险最小，为贝叶斯估计 * * 对所有的theta，风险R都小于等于贝叶斯风险 贝叶斯风险为风险R的均值 均值大于等于最大值，函数只能为常数（相当于定理的不等式取等号） * * * * * * * * * * Chp12：统计决策理论 用不同方法可能得到多个不同的估计，哪个估计更好一些？ 统计决策理论：比较统计过程的形式化理论 * 损失函数 损失函数：度量真值 与估计 之间的差异 损失函数举例 平方误差损失 绝对误差损失 损失 0-1损失 Kullback - Leibler损失 * 风险函数 注意：估计 是数据的函数，有时记为 风险函数：平均损失 估计 的风险定义为 对平方误差损失，风险为MSE 风险是 的函数 比较不同的估计，转化为比较不同估计的风险 但并不能清楚地回答哪个估计更好 * 风险比较 例12.3：令 ， 损失函数：平方误差损失 估计1：极大斯然估计： 偏差bias=0，所以 * 风险比较 例12.3（续）:估计2：贝叶斯估计，先验为 ，则估计为 风险为 当 时， ，其中 * 风险比较 没有一个估计的风险在所有的p值都超过另外一个 * 风险比较 风险函数的两个单值概述 最大风险 贝叶斯风险 其中 为θ的先验。 * 风险比较 例12.5： 最大风险函数： ，所以根据最小最大风险， 更好一些 * 风险比较 例12.5： 贝叶斯风险：先验为 当 时， 所以根据最小贝叶斯风险， 更好一些 问题：需要先验，尤其对复杂问题的话，确定先验可能很困难 * 决策规则(Decision Rules) 决策规则是估计的别名 最小化贝叶斯风险的决策规则称为贝叶斯规则或贝叶斯估计，即 为对应先验 f 的贝叶斯估计 其中下界是对所有的估计 计算 最小化最大风险的估计称为最小最大规则 其中下界是对所有的估计 计算 * 贝叶斯估计 估计 的后验风险： 贝叶斯风险与后验风险： 其中 为X的边缘分布 为最小化后验风险 的θ的值 则 为贝叶斯估计 给定一个模型（先验和似然）和损失函数，就可以找到贝叶斯规则 * 证明： * 贝叶斯估计 一些简单损失函数对应的贝叶斯规则 若 ，则贝叶斯规则为后验均值 若 ，则贝叶斯规则为后验中值 若 为0-1损失，则贝叶斯规则为后验众数(MAP) * 最小最大规则 找最小最大规则、或者证明一个估计是最小最大估计是一件很困难的事情。 本节主要讲述一个简单的方法：有些贝叶斯估计（风险为常数）是最小最大估计 令 对应先验 f 的贝叶斯估计： 假设 则 为最小最大估计，且f 称为最小受欢迎先验( least favorable prior)。 上述结论一个简单的结论：如果一个贝叶斯规则的风险为常数 ，则它是最小最大估计。 * 正态分布的最小最大规则 定理12.14：令 ， 则 是关于任意损失函数的最小最大规则 且这是唯一有此性质的估计 * MLE为近似最小最大估计 对满足弱正则条件的参数模型，极大似然估计近似为最小最大估计。对均方误差损失，通常 根据Cramer-Rao 不等式，这是所有无偏估计的方差的下界。 * MLE为近似最小最大估计 因此对所有估计 ，有 对大数n， MLE为近似最小最大估计。 因此，对大多数参数模型，当有大量样本时，MLE近似为最小最大估计和贝叶斯估计。 Many Normal Means 情况不成立（不是大样本） * 可接受性(Admissibility) 一个估计如果在θ所有值上都比其它估计的风险大，则该估计不是我们所希望的。如果存在一个其它的规则 ，使得 则该估计 是不可接受的。 否