パターン認識特論 rl.sys.wakayama-.pptVIP

パターン認識特論ー閾値論理と線形識別機構ー担当：和田　俊和　　　　部屋　A513 Email　twada@講義資料はhttp://wada1.sys.wakayama-u.ac.jp/PRA/ 線形識別機構 閾値論理 線形識別関数とは 識別面：異なるカテゴリー（クラス）に属するパターンを分離する面 線形識別面：線形方程式として表現できる識別面 A A A A A A A A A B B B B B B B 線形識別関数の数学的表現 線形識別の方法：線形識別面に直交するベクトルW上にパターンｘを投影し、原点からその投影点までの長さＶの大小関係によって帰属するクラスを決定する。 A A A A A A A A A B B B B B B B w 　ｗ?ｘ　 ｜ｗ｜ Ｖ　＝ θ’ If ｖθ’,　ｘ　belongs to A Otherwise,ｘ　belongs to B 線形識別関数の数学的表現 真面目に長さを計らなくても良い。 A A A A A A A A A B B B B B B B w 　w?ｘ　 ｜w｜ v　＝ θ’ If ｗ?ｘθ,　ｘ　belongs to A Otherwise, ｘ　belongs to B ｜w｜v　＝w?ｘ　 したがって、w?ｘ　と ｜w｜θ’（＝θ）の 大小関係を調べれば良 い． w?ｘの意味（TLUとの関係) TLU：Threshold Logic Unit (McCulloch and Pitts, 1943) If w?ｘθ,　y=0 Otherwise, y=1 w?ｘ　は、TLUの内部 活性度と見なすことが できる。 w=(w1,…,wn) x=(x1,…,xn) Wの拡張 xn+1= -1につながった入力を付加する。 If ｗ?ｘ0, 　y=0 Otherwise, y=1 閾値θをベクトルwに含 めてしまう。 xn+1=-1 -1 Wn+1 線形識別関数の学習(誤識別した場合のｗの調整) 教師付き学習：入力データとクラスデータの???（ｘ,t）を与える。（ t=0 ?y=0, t=1 ?y=1 ） 誤識別のケース： w?ｘ0　(y=1) and ｔ =0 w?ｘ0 (y=0) and ｔ =1 x w w’ αx x w w’ ‐αx w’=w+α(t－y)x α：学習率 線形識別関数の学習の例(ＡＮＤゲート) 初期値：ｗ=（0 ,0.4,0.3）,α=0.25 応用：Perceptron (Rosenblatt,1962) 拡張されたＴＬＵ Association Unitは任意の二値論理関数（固定） y2: (AD)/(BC) y1: (AB)/(CD) ＴＬＵを用いた多クラスの識別 C C C C D D D D D B B B A A A A B C Σ Σ Σ Σ A B C D Σ Σ y2: (AD)/(BC) y1: (AB)/(CD) 多段ＴＬＵの学習（１） C C C C D D D D D B B B A A A A B C Σ Σ 層毎に学習する方法 1 0 y1　　 (AB) (CD) y2 (AD) (BC) Σ Σ Σ Σ A B C D y1 y2 A B C D 1 1 1 0 0 0 1 0 0 1 0 0 0 1 0 0 0 1 0 0 0 0 1 0 多段ＴＬＵの学習（2） 問題：　各TLUについて　E=1/2 (t－x?w) とし、これを最小化するようにwを変更する。 解法：　 δw = －α　　　　　＝α(t－x?w)x とし、w’=w+δw によって更新する。 fは微分可能ではないが、 活性度w?xは微分可能。w?x を-1,1 の2クラスに分けた教師信号を個々のTLUに与えれば、学習が 行えるはず。 Σ Σ Σ Σ Σ Σ A B C D 結局、全てのTLUに教師信号を与えるので、 層ごとの学習と同じことになる。 ?E ?w 2 問題点 全てのユニットに教師信号を与えなければならない。（出力層にだけ教師信号を与えたい。） f(x ; w)は不連続関数でありwで微分することができない。（閾値処理に起因する。） ニューラルネット Σ Σ Σ Σ Σ Σ A B C D ニューラルネットの学習 Σ Σ Σ Σ Σ Σ A B C D E=1/2(t-σ(x?w))2をwで微分すると 　　－σ’(x?w) (t－σ(x?w))x が得られる。このことから