水资源资讯系统研究室.pptVIP

水資源資訊系統研究室 章節目錄 第一節 序論 第二節 多層感知器網路架構 第三節 BPN的學習演算法 第四節 BPN的實用層面與探索 第五節 應用實例 第六節 其他應用 第七節 結論 第一節 序論 事物間的因果關係很難以數學方程式表現出來 欲建立系統的反應機制，我們藉由輸入-輸出（input-output pairs）的觀測資料以建立輸入與輸出訊號間的映射關係 最小平方法 第二節 多層感知器網路架構 倒傳遞類神經網路的架構為多層感知器（Multilayer Perceptron, MLP） 早期Rosenblatt（1958）發展的感知器僅為單層網路 無隱藏層的存在，無法解決某些問題 (例如：XOR問題） 輸入層與輸出層用來表現輸入項與輸出值，兩者神經元數目依問題型式而定； 常使用的活化函數型式 第三節 BPN的學習演算法 EBP的學習過程，是由正向傳播與負向傳播所組成 權重與偏權值修改 網路的學習過程，即為使誤差函數 E 最小化的過程 若n為最終層，此時j=k 如何推導? BPN 大量的連結權重參數需要調整 訓練過程，目標函數常會落入局部最小值 慣性項的加入（Zurada, 1992） 批次學習（batch learning） 第四節 BPN的實用層面與探索 在許多理論研究的結果與工程領域的模擬應用上都顯示，隱藏層的層數不需要超過兩層以上 Hush和Horne（1993）指出 使用兩層隱藏層的網路，各隱藏層只需有少量神經元，可取代使用一層需要數量龐大神經元隱藏層的網路 一般可以使用特定的問題或目標函數來決定哪一種架構比較好 網路大小、訓練時間、精確度以及對硬體的需求 輸入層與輸出層都可以由問題本身決定 隱藏層的神經元個數的多寡對網路有相當重大的影響 決定網路的參數的多寡， 影響網路描述系統（問題）的能力 網路修剪法（pruning algorithm） 先設定大數量的隱藏層神經元個數開始訓練，再逐一減少神經元個數 網路增長法（constructive algorithm） 先設定小數目的隱藏層神經元個數開始訓練，再逐一增加神經元個數 讓資料平均值在0附近或是使其標準偏差較小， 搜尋過程中較不容易產生權重發散，造成無限大或負無限大的值出現 讓權重調整的速率相近似 可將資料正規化（normalize）至 [0.1, 0.9] 的範圍間 根據問題的型態或需求來改變目標函數的型態 教科書中皆以誤差平方和為函數組合 學習速率小 收斂過程因此趨緩，但迭代次數就相對地提高； 學習速率大 可加速搜尋效率，但容易造成搜尋過程中，目標函數產生不穩定的振盪情形 一般建議 連結權重在初始化 應設定很小值的隨機亂數，可以避免網路訓練過程是從一個特定的權重值開始搜尋，而容易落入局部解或需要很多的迭代次數 補充:使用MATLAB的Neural Network Toolbox Neuron Model (logsig, tansig, purelin) Feedforward Network Creating a Network (newff): 建立網路架構 Initializing Weights (init): 重新產生起始值 The newff command automatically initializes the weights, but you might want to reinitialize them. You do this with the init command. net = init(net); Simulation (sim): 產生網路輸出值 sim takes the network input p and the network object net and returns the network outputs a. You can use sim to simulate the network created above for a single input vector: p = [1;2]; % input a = sim(net,p) % generate output to ‘a’ a = -3.6686 p = [1 3 2;2 4 1]; a = sim(net,p) a = -3.6686 -0.9030 -4.3257 Training: 訓練網路 The default performance function for feedforward networks is mean square error mse—the average squared error b