概率统计图6-2.pptVIP

6.4.1 统计推断的基础 （1）总体信息:总体分布提供的信息。 （2）样本信息:抽取样本所得观测值提供的信息。 （3）先验信息(prior information ):人们在试验之前对要做的问题在经验上和资料上总是有所了解的，这些信息对统计推断是有益的。先验信息即是抽样（试验）之前有关统计问题的一些信息。一般说来，先验信息来源于经验和历史资料。 基于上述三种信息进行统计推断的统计学称为贝叶斯统计学。 它与经典统计学的差别就在于是否利用先验信息 6.4.2 贝叶斯公式的密度函数形式 (1)总体依赖于参数? 的概率函数在贝叶斯统计中记为P (x | ? )，它表示在随机变量θ取某个给定值时总体的条件概率函数； (2)根据参数? 的先验信息可确定先验分布?(? )； (3)从贝叶斯观点看，样本 x1, x2 , …, xn 的产生分两步进行: 首先从先验分布?(? )产生一个样本?0; 然后从P (x |?0)中产生一组样本。这时样本的联合条件概率函数为 这个分布综合了总体信息和样本信息； (4)?0 是未知的，它是按先验分布?(? )产生的。为把先验信息综合进去，不能只考虑?0，对?的其它值发生的可能性也要加以考虑，故要用?(? )进行综合。这样一来，样本x1 , …, xn和参数? 的联合分布为: h(x1, x2 , …, xn, ? ) = p(x1, x2 , …, xn?? )?(? )， 这个联合分布把总体信息、样本信息和先验信息三种可用信息都综合进去了； （5）在没有样本信息时，人们只能依据先验分布对? 作出推断。在有了样本观察值 x1, x2 , …, xn 之后，则应依据 h(x1, x2 , …, xn , ? )对? 作出推断。因 h(x1,x2 ,…,xn , ? ) =?(? ? x1,x2 ,…,xn )m(x1,x2 ,…,xn) 其中 是x1, x2 , …, xn 的边际概率函数，它与? 无关，不含? 的任何信息。 边际概率函数 m(x1, x2 , …, xn ) 与? 无关，不含? 的任何信息。因此能用来对? 作出推断的仅是条件分布?(? ? x1, x2 , …, xn)，它的计算公式是 6.4.3 贝叶斯估计 基于后验分布?(?? x1, x2 , …, xn )对? 所作的贝叶斯估计有多种，常用有如下三种： 使用后验分布的密度函数最大值作为? 的点估计，称为最大后验估计； 使用后验分布的中位数作为? 的点估计，称为后验中位数估计； 使用后验分布的均值作为? 的点估计，称为后验期望估计。 用得最多的是后验期望估计，它一般也简称为贝叶斯估计，记为 。 例6.4.2 设某事件A在一次试验中发生的概率为? ，为估计? ，对试验进行了n次独立观测，其中事件A发生了X次. 显然 X?? ?b(n,? )，即 假若我们在试验前对事件A没有什么了解，从而对其发生的概率? 也没有任何信息。在这种场合，贝叶斯本人建议采用“同等无知”的原则使用区间（0,1）上的均匀分布U(0,1)作为? 的先验分布，因为它取（0,1）上的每一点的机会均等。贝叶斯的这个建议被后人称为贝叶斯假设。 由此即可利用贝叶斯公式求出? 的后验分布。具体如下：先写出X和? 的联合分布 然后求X的边际分布 最后求出? 的后验分布 最后的结果说明? ?X ?Be(x+1,n-x+1)，其后验期望估计为 (6.4.4) 例6.4.3 设x1, x2 , …, xn是来自正态分布N(?,?02)的一个样本，其中?02已知，? 未知，假设? 的先验分布亦为正态分布N(? ,? 2)，其中先验均值?和先验方差? 2均已知，试求? 的贝叶斯估计。 解：样本x的分布和? 的先验分布分别为 由此可以写出x与? 的联合分布 其中 ， 。若记 则有 注意到A,B,C均与? 无关，由此容易算得样本的边际密度函数 应用贝叶斯公式即可得到后验分布 这说明在样本给定后，? 的后验分布为 N(B/A,1/A)，即 后验均值即为其贝叶斯估计： 它是样本均值 与先验均值? 的加权平均。 6.4.4 共轭先验分布 若后验分布?(? ?x)与?(? )属于同一个分布族，则称该分布族是? 的共轭先验分布(族)。 二项分布b(n, ? )中的成功概率? 的共轭先验分布是贝塔分布Be(a,b)； 泊