小暮研究会2.ppt

* ベルヌーイパラメーターに対する３つの事前分布 小暮研究会２ 第１章　ベイズのアルゴリズム 　?尤度の優位 　?事後分布の収束 　?事後分布のサンプリング 　?BUGSでの実例 　?２乗誤差損失 総合政策学部３年　織田昌吾 尤度の優位 これまで見てきた事後分布以外の特徴として、観測数がパラメーター数より相対的に多く、事前分布がΘの関連部分に確率０を与えない時、事前分布にほとんど依存しないということである。 データが蓄積させることによって、尤度が変化し、増加する傾向にあるが、事前分布は変化しない。 例として、対数値　　　　　　　　　　　　　　　　　を持つn個の独立した正規（μ）変量、　　　　　　　　　　　　　　 　 に対する尤度を考える。 尤度の優位 追加的な観測値を加える時、尤度の増加分は負でも０でもない　　　　　　　　　　　であり、ほとんどのμに対しての対数尤度は、観測値が増えるにつれて大きな負の値になる。ゆえに、大標本において尤度が　　 　　　　　　である限り、数値的に優位な項である。 ＊この例は、依存あるいは一様分布ではないデータの場合に機能する。 尤度の優位　例１．１６ 事前分布における事後分布の弱従属性 　?　　　　　　　　　　　　　を 持つベルヌーイ試行を考え、 自然共益なベータ分布の中 で事前分布を変化させた結果　　　　　　　　　　　　　 　　　　　　　　　　　　　を考える。 図１．７ ベルヌーイパラメーターに対する３つの事前分布 尤度の優位 図１．８ ３つの事後分布：n=5、s=2 図１．９ ３つの事後分布：n=20、s=8 尤度の優位　まとめ 異なる事前の考えが、かなり制限された量の証拠を考えた時に、急速に大まかな同意をもたらしうること、また多くのデータが利用できるほどその同意が完全であることを示している。 全く異なるが教義的でない事前の信念を持つ2人の個人が証拠の蓄積によって同意することになると言う点で、合理的で科学的な問いの過程とよく似ている。 事後分布の収束 それでは、標本サイズが大きくなると事後分布はどのように変化するであろうか。 カルバック?ライブラー情報量 　この式の積分は、2つの確率分布　　　　　　と　　　　　　 　の相違を測るものであり、　　と異なる　　の値から生 　じる全てのありうるデータの分布（尤度）が　　　　　　 　と異なると言うことである。 事後分布の収束　理論 理論 　　事後分布における全ての場合はパラメータ空間におけるただ一つの点に集中することになる。 この理論は、全く異なった初期の信念（考え）を持つ個人が証拠の蓄積によって、どの程度最終的な結論をもたらすかに関する精度を形成する。 事後分布の収束　証明 証明 事後分布の収束　証明 事後分布のサンプリング 事後分布をとり、そこからθに関する実現値の集合を書くとき、　　　　　　　　　　から実現値をnrep個生成するようにプログラムすると、結果はnrep行とθに関する要素と同じくらい多くの行を持つ行列となる。 事後分布のサンプリング データが与えられた元で　　の分布　　　　　　を調べるために2行目を単純に無視する。 　の分布関数を調べるためにこの関数を結果として出来た行列の行に適用すると、確率変数　　　の一連の実現値となる。 独立であろうと無かろうと、大数の法則が適用され、それは　　のnrep個の実現値の標本から、　　　のモーメントがnrep→∞として　　　の分布のモーメントに収束する。 例１．１７　プロビットの再訪 平均が２変数　　と　　に依存する２値データ　　を考える。 ここで　　　　　　　　　　　　である。ゆえに、　　　　　　　　　は３次元パラメータである。例えば、　　に関する　　　　が　　の代替的な選択を評価したという確率の導関数に関する事後分布を知りたいかもしれない。これは経済的に興味深いものであるかもしれないので、最もありそうな値かその期待値、もしくはそれが負である可能性を知る必要がある。 プロビットの再訪 この場合、興味のあるパラメータは以下のようになる。 ここで必要とするのはその事後分布である。この分布を求める現代的な方法は　　　　　　　の同時事後分布をサンプリングし、次に３つの各実現値に対して、普通はいくつかの興味あるベクトル　　に対して　　を計算することである。 BUGSでの実例 BUGSの実例 １～5行目は、尤度を与えるものである。 ６～８行目はモデルに関する2つ目の要素を与え、この場合以下で示されるβに対する事前分布である。 BUGSでの実例 これらは、βの３つの要素が平均０、標準偏差 　　　　　　　　　　を含むかなり低い精度を持つ独立した正規分布であることを示す。