第十二章 贝叶斯统计.docVIP

第十二章 贝叶斯统计 统计学中有两个主要学派：频率学派和贝叶斯学派。两者间有着长期的争论，这对统计学的发展起到了积极的促进作用。本章主要讨论贝叶斯统计的基本思想、理论进展及应用，以期对贝叶斯统计形成初步的认识。 §12.1贝叶斯学派概述 贝叶斯统计起源于英国学者贝叶斯的一篇论文“论有关机遇问题的求解”（1763年发表）。在这篇论文中，他提出了著名的贝叶斯公式。设参数已知时，样本的分布密度为的先验密度为，则已知样本后，参数的后验密度为 贝叶斯公式、参数的后验密度公式（12.1.1） 及贝叶斯假设构成了贝叶斯统计的起点。 频率学派进行统计推断时，依据两种信息：一是总体信息，即统计总体服从何种概率分布，例如总体服从正态分布。另一是样本信息，即从总体抽取的样本给我们提供的信息。贝叶斯学派则除以上两种信息之外，还必需利用先验信息，即在抽样（试验）之前有关总体分布的未知参数的信息。 贝叶斯学派受到的批评集中于以下两点： ⑴将参数看成是随机变量是否合适；⑵先验分布是否存在，如何确定。 贝叶斯统计在参数的点估计、区间估计及假设检验方面形成了与频率统计相平行的理论方法，并赋予统计推断以新的解释，它在可靠性方面有着成功的应用。贝叶斯分析与统计决策论也是难以分开的，贝叶斯统计具有简洁实用的特点。贝叶斯方法的关键是先验分布的确定。由于现实世界中的事物的发生常不具备大量可重复性，事件发生的概率较难具有频率解释，而又面临解决问题，这就导致主观概率、先验分布的提出，试图通过科学的思维活动来弥补经验的不足，再利用样本调整先验分布为后验分布，完成对参数认识的再认识。 例12.1.1一个人打靶，打了次，命中了次，估计此人打靶命中的概率。 一般的估计方法是：。当时，；当时，仍有。而实际上在这两种情况下，反映出的此人的射击水平是不一样的。依贝叶斯方法，次独立射击，命中次的概率为 当对参数一无所知时，可设服从上的均匀分布，由（12.1.1）得 取关于其后验分布的期望去估计，得的贝叶斯估计：。此时，当时，；当时，有。显然这个估计比要合理。 §12.2先验分布的确定 参数的无信息先验分布是指除参数的取值范围和在总体分布中的地位外，不再包含 的任何信息的先验分布。下述12.2.1，12.2.2，12.2.3均为无信息先验分布的确定。 12.2.1贝叶斯假设 当对一无所知时，可认为的取值均匀地分布在其变化范围内，取 为常数，称（12.2.1）式为贝叶斯假设，例(12.1.1) 就是在贝叶斯假设下求出。然而还存在着这样的矛盾，定义一个变换在上具有单调性，由贝叶斯假设，都应是上的均匀分布，实际上当服从上的均匀分布时，可推出服从非均匀分布。 12.2.2用Fisher信息阵确定无信息先验分布 Jeffery提出的不变原理较好地解决了贝叶斯假设的上述矛盾。设的先验分布为具有单调性，为相应的反函数，的先验分布为，则应有 选择满足(12.2.2)，则由或导出的先验分布具有一致性。Jeffery以的Fisher信息阵的行列式的平方根作为的先验分布的核，即 则可证明(12.2.3)满足(12.2.2 )确定的不变性。用Jeffery准则(12.2.3) 式确定例12.1.1中的先验分布，可得 即，服从贝塔分布，由此得的贝叶斯估计：。 12.2.3最大熵原则 信源是信息的来源。对离散信源，设信源符号出现的概率为，定义信源的期望信息量为信源的信息熵 即熵是表征信源的不定程度的总体特性的。信息获得的可能性较小，则一旦获得信息，所得到的信息量也应是较大的。可证明对离散型随机变量，等概率状态相应的熵最大。 对连续信源，可定义信源的信息熵为 可证明在上的均匀分布是熵最大的分布。从而例12.1.1中的最大熵先验分布为上的均匀分布。又设是上的随机变量，假定它的一阶矩为，二阶中心矩为，则可推得的最大熵分布为。 12.2.4共轭分布 Raiffa和Schlaifer(1961)提出选择自然共轭分布作为先验分布。定义：设样本的分布密度，若决定的后验密度: 与是同一类型的，则称先验分布为的共轭分布。 再看例12.1.1若选取为贝塔分布，则可推出：仍服从贝塔分布，故贝塔分布是二项分布的共轭分布。此时，的贝叶斯估计：。当时，的先验分布即为贝叶斯假设。共轭分布要求先验分布与经样本调整后的后验分布具有某种一致性，即要求具有对参数的基本认识条件下，通过样本调整，达到对参数认识的升华。 12.2.5经验贝叶斯估计 经验贝叶斯方法体现了频率统计和贝叶斯统计的某种融合，其特点是利用历史样本的信息。 例12.2.1 设是来自总体服从的样本，已知，的先验分布选为，则可 推知：给定的后验分布服从，其中， 即的先验分布，为给定下总体分布的共轭分布（也是的二阶矩存在下的最大熵分布），在上式中参数是未知的。经验贝叶斯方法是通过样本去估计未知参