わかりやすいパターン認識 lp.dse.ibaraki.ac.jp.pptVIP

わかりやすいパターン認識 第３章　誤差評価に基づく学習 ３．３　誤差逆伝播法 ニューラルネットワーク(neural network） 複数のしきい値論理ユニットを含む層を、入力層から出力層まで多数並べたネットワーク ニューラルネットワーク(neural network） ユニット間の結合は隣接する層間でのみ存在する 入力層から出力層へ向かう一方向 区分的線形識別関数と等価 　パーセプトロンは中間層を持たず入力層と出力層からなる２層のネットワーク 誤差逆伝播法(back propagation method) ニューラルネットワーク：有効な学習方法が知られていなかった パーセプトロンの学習規則：学習できるのは最終層のみで中間層には無力 誤差逆伝播法(back propagation method) 　隣接する３つの層を考え、ある層におけるｊ番目のユニットについて P番目のパターン　　（　　　　）を入力 ユニットｊへの入力 ユニットｊの出力 二乗誤差 パターンｐにたいし、出力層のｌ番目のユニット、ユニットｌに対する教師信号　　との差 全学習パターンに対する二乗誤差 最小になるように重みを決める 最急降下法 これまで同様Jの最小解を求める の決め方 ユニットｊが出力層にある時 ユニットｊが中間層にある時 シグモイド関数（sigmoid function）:S(u) しきい値関数を近似する微分可能な関数 ?ユニットjへの出力式（誤差伝播法）　　　 　の　をシグモイド関数に選ぶと次式が得られる の決定 　　　　　　　　　　　　　　　（ユニットｊ、出力層） 　　　　　　　　　　　　　　　（ユニットｊ、中間層） 　　　　　　　　であり、ユニットの出力値　　が０．５の時重みの修正量はもっとも大きく、が０または１に近づく程修正量は小さくなる　　　　　　　　　 一般化デルタルール(generalized delta rule) 誤差逆伝播法の式を、２層のネットワークに対するWidrow-Hoffの学習規則の式と比較すると、前者はより一般的な多層のネットワークへ拡張された形になっているため、一般化デルタルール（ generalized delta rule )とも呼ばれる * 入力層 中間層 出力層 しきい値論理ユニット これまでの学習法の欠点を解決、多層のネットワークにまで学習の適用範囲を拡張 *