Stata软件关于贝叶斯统计的应用介绍.docVIP

Stata软件贝叶斯统计：MCMC和Metropolis–Hastings算法 在这篇文章中，我从非技术层面来介绍一下Markov chain Monte Carlo，通常简称为MCMC。MCMC被广泛应用于贝叶斯统计模型拟合。MCMC有很多不同的，这里我将主要Metropolis–Hastings 算法。为了简便起见,我将忽略一些细节，强烈推荐大家在练习使用MCMC之前阅读[BAYES] 。 我们继续前一篇文章我们对参数θ的后验分布感兴趣，也就是硬币概率。我们的先验分布是平的,信息Beta分布参数1和1。然后我们将使用二项函数我们的实验量化，10次4次“头”。我们可以使用M-H算法来生成后验分布θ的样本。然后可以使用这个样本来估算如后验分布的均值等问题。 这种技术有三个基本部分： 1 Monte Carlo 2． Markov chains 3. M–H algorithm Monte Carlo methods 蒙特卡罗是指依靠伪随机数的生成方法（简称随机数）。图1说明了蒙特卡罗实验的一些。Figure 1: Proposal distributions, trace plots, and density plots 在这个例子中，我将从正态分布的均值0.5和任意方差σ生成一系列随机数。正态分布称为分布。 图右上角称为图，它会根据绘的顺序来显示θ。它显示建议分布顺时针旋转90度的，我画一个θ会将它向右平移。绿点图显示了θ的当前值。 左上角的密度图是逆时针旋转90度的直方图样本。我旋转了坐标轴，θ轴是平行的。同样的，绿色的点密度图显示了θ的当前值。 让我们10,000个θ?随机是如何工作的。 Animation 1: A Monte Carlo experiment 动画图1说明了几个重要的特。首先建议分布不会从一个迭代到另一个。其次，随着样本容量的增加，密度图看起来越来越像分布。第三，图是的--所有迭代的变量，形式看起来都是一样的。 蒙特卡罗仿真Markov chain Monte Carlo methods Markov chain是一个数字,每个数字都依赖于序列。例如，我们θ的前一个值来绘制θ值。图2显示了 轨迹图和密度图，当前的θ值（θt=0.530）?(θt?1=0.712)来绘制的。 Figure 2: A draw from a MCMC experiment 下面图3显示序列中的下一次迭代的轨迹图和密度图。建议密度的均值现在是θt?1=0.530，并且我们从新的分布来出了随机数值θt=0.411。 Figure 3: The next iteration of the MCMC experiment 让我们10,000个θ?随机是如何工作的。 Animation 2: A MCMC experiment 动画图2显示了Monte Carlo实验和MCMC实验直接的差异。首先，建议分布是随着每个迭代变化的。这一个随机游走模式的图：所有迭代的变化是不一样的。其次，产生的密度图看上去不像分布或其他任何有用的分布，肯定也不是一个后验分布。 MCMC从后验分布获取样本失败的原因是我们还没在生成样本的过程中输入过任何后验分布的信息。我们可以通过θ值来样本，θ值是在后验分布下不太可能是丢弃值。 但是基于后验分布，θθ值呢? 答案就是M-H算法！ MCMC和M–H 算法 M-H算法可以用在我们不知道后验分布的情况下来判断是否接受θ值。让我们将Figure 4: MCMC with the M–H algorithm: Iteration 1 图4显示了等于(θt?1=0.0.517)的分布图和密度图。我们已经了一个预估值θθnew=0.380)，我将这个值定义为θnew是因为还没有确定是否要用这个值。 我们 我们不知道后验分布的，但是在这个例子中，图4显示了(θnew=0.380) 和(θt?1=0.0.517) 的等于1.307。我们计算概率α(θnew,θt?1)，最低比值r(θnewθt -1)和1。概率等于1，所以我们接受(θnew=0.380),分布就变成了0.380.Figure 5: MCMC with the M–H algorithm: Iteration 2 图5显示了下一个迭代(θnew=0.286)是?(θt?1=0.380)后验分布绘制的。步骤1 计算的r(θnew,θt?1)等于0.747，1。概率α(θnew,θt?1)等于0.747。我们拒绝θnew，因为概率小于1。θnew，θnew并保留?θt?1。在这里u=0.094小于了概率(0.747)，所以我们就接受(θnew=0.286)。?将θnew和0.286以绿色来表示它们已经被接受。 Figure 6: MCMC with the