類神經---倒傳遞演算法.ppt.pptVIP

神經網路有幾種不同學習規則: 例如聯想式學習、競爭式學習； 性能學習之目的: 調整網路參數以最佳化網路性能 最佳化過程分兩步驟: (1) 定義性能指標, 找到衡量網路性能的定量標準(性能指標在網路性能良好時很小)；(2) 有哪些信誉好的足球投注网站減少性能指標的參數空間(即調整加權值、偏權值) 以多變數泰勒級數展開式的近似作為性能指標: Suppose a function F(x)=F(x1,x2,…,xn) of n variables. Then the expansion of Taylor Series at point x* is as follows. F(x)=F(x*)+ |x=x* (x1-x1*)+ |x=x* (x2-x2*) +…+ |x=x* (xn-xn*)+ |x=x* (x1-x1*)2 + |x=x* (x1-x1*)(x2-x2*) +… Matrix form: F(x)=F(x*+?x)=F(x*)+?F(x)T |x=x*(x-x*)+ (x-x*)T ?2F(x)|x=x* (x-x*)+… =F(x*)+?F(x)T|x=x* ?x+ ?xT?2F(x)|x=x* ?x+ … (1) Hessian: ?F(x)的第 i 個元素 是F(x)在 xi軸上的 first-order derivative ?2F(x)的第 i 個對角元素 是性能指標 F 沿 xi軸的 second-order derivative ?Directional derivative: (設 P 為沿所求導數方向上的向量) 沿 P 方向的二階導數: …… (2) Note1: 一階導數為斜率函數, 且 pT?F(x) 為內積, 故與梯度正交的 方向之斜率為 0 (即, 與輪廓線/等高線/等位線(contour)相切的 方向之斜率為 0 ); 最大斜率出現在同方向上 Note2: F(x1,x2,…,xn) = ci (constant) 的一系列曲線圖稱輪廓線 (i=1,2,…) 最佳化的必要條件: 當?x→0, 則高階導數項可略 (1) ? F(x*+?x) ? F(x*) + ?F(x)T|x=x* ?x ……..(3) Suppose x* is the point of local min, and ?x ≠0 Let F(x*) ≤ F(x*+x) be true, then ?F(x)T|x=x* ?x ≥ 0 But if ?F(x)T|x=x* ?x 0 then F(x*+(-?x)) ? F(x*) ? ?F(x)T|x=x* ?x F(x*) (inconsistent with x* being the point of local min) so, ?F(x)T|x=x* ?x = 0 , i.e. ?F(x)T|x=x* = 0 x* is called a stationery pt (不是充分條件, ∵ maybe a saddle pt) ?二階條件: ∵ ?F(x)T|x=x* = 0 ∴ (1) ? F(x*+?x) = F(x*) + ?xT?2F(x)|x=x* ?x + … if ?xT?2F(x)|x=x* ?x 0 , then F(x*) F(x*+ ?x) i.e. Hessian matrix is positive definite Remark: if zTAz 0 , then A is positive definite (for any vector z) ∵Ax=λx ∴λi＞0 ? Matrix A: positive definite for all i=1,2, … i.e. we can employ eigenvalueλi to