情报几何入门.ppt

情報幾何入門 赤穂昭太郎 産業技術総合研究所 脳神経情報研究部門 情報幾何情報処理を幾何的に（図で）理解する 情報幾何から導かれる結論 多くのモデルは「平ら」である 多くのアルゴリズムは平らなモデルに「まっすぐ」射影を下ろしたものになっている ただし，「平ら」「まっすぐ」は普通と違って２種類ある（eとm：双対構造) 共通言語としての情報幾何 確率モデルやその周辺分野 統計学 システム制御 符号理論 最適化理論 統計物理 世の中＝確率モデル 情報幾何の出発点： 確率モデル 座標系 例： 離散分布 例： 正規分布 空間の構造 ユークリッド空間ではダメ？ ユークリッドではA-B と C-D の隔たりが同じになる 空間の構造 空間の構造は何で決まるか？ 点の近く： 線形空間（計量） 空間全体： 線形空間のつながり方を決める （接続） 設計方針 統計的に自然なもの パラメータの取り方によらない 点の近くの構造：線形空間 線形空間（接空間） 接空間の構造は基底の間の内積で決まる（リーマン計量） 情報幾何での計量 統計的不変性?フィッシャー情報行列 なぜフィッシャー情報量か？ クラメール?ラオの不等式N個のサンプルからの の推定量 の分散の下限 が のまわりでの散らばり具合を表す? が大きいところはきめが粗い 例：正規分布 だけ微小に動かしたときの変化は?分散の小さいところは少し動かしただけで  大きくずれる 計量と座標変換 計量は（一般に非線形な）座標変換に対して線形に変換される（テンソル） ユークリッド空間をつなぐ 各点ごとにバラバラの接空間 ?接空間をつなぐ（接続） 接ベクトル の平行移動 を（アファイン）接続係数と呼ぶ 測地線：まっすぐな線 ある接ベクトルの方向 の自分自身への平行移動をつなげたものを測地線という（直線の概念の一般化） 接続をどう決めるか？ 二つの接ベクトルを平行移動したとき，普通（物理等）はその間の内積を保存したい これを満たす接続は計量から一意的に決まってしまう?レビ?チビタ接続 ところが情報幾何ではそれ以外の接続も考える α接続 統計的な不変性?パラメータαをもつ接続係数に限られる 特にα＝０のときがレビ?チビタ接続 情報幾何ではα＝±１のときが最重要！ 平坦な空間 接続はテンソルではない（座標系に依存） 逆に言えば，うまく座標系を取れば，G=0にできる(まっすぐな空間) このような座標系がもし存在するときαアファイン座標系といい，その座標系についてα平坦であるという． 平坦な座標系の測地線（α測地線）はαアファイン座標系での直線になっている． 重要な分布族 α＝±１ は特別な意味がある：確率分布の分布族で，α平坦になるのは「指数分布族(exponential family)」と「混合分布族(mixture family)」の二つだけで，それぞれα＝±１に対応する 指数分布族 情報幾何で最も基本的な分布族 指数分布族は q をアファイン座標系として1-平坦 指数分布族は特別なので1-平坦や1-接続のことをe-平坦とかe-接続という(e=exponential) 混合分布族 確率分布の線形和 パラメータθをアファイン座標系として－１平坦 混合分布族は特別なのでー１平坦，－１接続のことをm平坦，m接続という(m:mixture) 離散分布は混合かつ指数 混合分布族としては 指数分布族としては 正規分布は指数分布族 双対平坦と双対座標 実はα平坦なら，別の座標系が存在してーα平坦 になる α平坦な座標系：θ，－α平坦な座標系：η ルジャンドル変換：ポテンシャル関数 ， 双対性 θに対する計量： ηに対する計量： 計量が座標変換のヤコビ行列になっている θ座標での基底： η座標での基底： 双対直交： 指数分布族の場合 θ座標系は1平坦 双対座標は ポテンシャルはψそのもの 混合分布族も双対平坦だが双対座標が単純な形で書けないので，結局指数分布族が唯一重要な分布族 離散分布の場合 e座標系  確率値の対数の線形空間 m座標系   確率値の線形空間 例：正規分布 部分空間と射影 情報幾何的世