パターン認識特論 RL.pptVIP

パターン認識特論担当：和田　俊和　　　　部屋　A513 Email　twada@ 主成分分析 http://vrl.sys.wakayama-u.ac.jp/PRA/ 主成分分析１（正規直交基底をデータから求める） 特徴ベクトルの各要素の分散を最大化する。 μ 主成分分析２ 特徴ベクトルの各要素の分散 この値を という条件の下で最大化する． 知識：ベクトルの操作に関する公式 転置 微分 内積 主成分分析３ラグランジェの未定係数法 この式を最大化するのが解． ?　　と　　で微分し，それらを０と置く 固有値問題になる 　　　　　　　固有値問題の例 線形変換 　を起点として終点を 　　 とするベクトルを描 　　　く． 右図に固有ベクトルの方向を書き加えると， 知識：固有値問題の解き方 固有方程式 特性方程式 　各固有値が求められれば，それに対応する固有ベクトルが求められる． 実例 x1= (2,4,3)T, x2= (2,2,4)T, x3= (1,1,2)T, x4= (3,1,3)T ←これが，共分散行列 計算結果 特性方程式 固有値 　　（本当の固有 　　値はこれを４ 　　で割る） 固有ベクトル：次ページ 固有ベクトルの導出 固有ベクトル 直交展開 Octaveを使えば，簡単に計算できる．/ octave:1 sigma=[2,0,1;0,6,1;1,1,2] sigma = 2 0 1 0 6 1 1 1 2 octave:2 [v,lambda]=eig(sigma) v = -0.664776 0.744880 0.056802 -0.143667 -0.202092 0.968772 0.733098 0.635855 0.241360 lambda = 0.89722 0.00000 0.00000 0.00000 2.85363 0.00000 0.00000 0.00000 6.24914 octave:3 v*lambda*v ans = 2.0000e+00 -4.1975e-16 1.0000e+00 -4.8881e-16 6.0000e+00 1.0000e+00 1.0000e+00 1.0000e+00 2.0000e+00 octave:4 主成分分析 共分散行列Σの性質　　 分散,　　　共分散 μ 対称行列なので次式による 対角化が　可能 主成分分析 共分散行列Σの分解 行列式 トレース（行列の対角要素の和） 直交行列 正規直交基底を並べてできる行列は直交行列 VとVTは回転を表している： 対角行列 対角行列は各軸ごとの伸縮を表している 共分散行列が表す幾何学的変換 主成分分析によって何が分かるか 分散の大きくなる軸の向き その軸方向の偏差　　　分散 共分散行列のランクがrである場合、次式が成り立つ 「固有値＝軸上の分散」の確認 Karhunen-Loeve 展開 r未満の数qに対する直交展開 を計算する際に誤差||x-x’||を最小化する基底 自己相関行列　　　　　　　　　 に対する固有値問題になる． 次回以降の講義 識別（統計的手法、判別分析、線形識別関数とニューラルネットワーク、最近傍識別） クラスタリング（K-means、 ＥＭアルゴリズム） より進んだ識別手法：ＳＶＭ、ＢＯＯＳＴＩＮＧなど