神经网络设计.pptVIP

性能学习 Taylor级数展开 例子 三个近似的图形 向量情况 矩阵形式 方向导数 极小点 例子 向量例子 一阶优化的必要条件 二阶条件 例子 二次函数 二次函数特点的小结 如果赫森矩阵的所有特征值为正，则函数有一个强极小点。 如果赫森矩阵的所有特征值为负，则函数有一个强极大点。 如果赫森矩阵的所有特征值有正有负，则函数有一个鞍点。 如果赫森矩阵的所有特征值为非负，但某些特征值为零，则函数要么有一个弱极小点，要么没有驻点。 如果赫森矩阵的所有特征值为非正，但某些特征值为零，则函数要么有一个弱极大点，要么没有驻点。 基本的优化算法 最速下降法 例子 图 稳定的学习速度(二次函数) 例子 沿直线最小化 例子 图 牛顿法 例子 图 非二次函数例子 不同的初始情况 牛顿法的特点 牛顿法是在当前初始点确定原函数F(x)的二次近似的驻点，它并不区别极小点、极大点和鞍点 如果原函数为二次函数（有强极小点），牛顿法能够实现一步极小化 如果原函数不是二次函数，则牛顿法一般不能在一步内收敛，甚至有可能收敛到鞍点和发散（最速下降法能够确保收敛，如果学习速度不太快） 共扼向量 对于二次函数 构造共扼方向 共扼梯度算法 第一次有哪些信誉好的足球投注网站方向是梯度的负方向。 选择学习速度来沿直线最小化。 用下式确定下一个有哪些信誉好的足球投注网站方向： 如果算法不收敛，回到第二步。 一个有 n 个参数的二次函数将在 n 步内被极小化。 例子 例子 图 第二次迭代 苹果 第三次迭代 继续此迭代过程，算法将收敛于 LMS 算法与感知机学习规则 ? 感知机学习规则： ? LMS 算法： ? 二者有相同的限制：只能分类线性可分的模式。 ? LMS 算法比感知机学习规则更有效，它使均方误差最小化，能产生比感知机学习规则受噪声影响小的判定边界。 稳定性由这个矩 阵的特征值决定. 即(1 – αli)是[I - aA]的特征值。所以最速下降法稳定条件为： 若二次函数有一个强极小点，则其特征值为正，上式可化为： 如果矩阵[I - aA]的特征值小于1，则该系统就是稳定的。设li是A的特征值， zi是A的特征向量。那么 选择 ak 最小化 其中 对二次函数，令该导数为0，可得 ak 的解析表示： 后继每一步都正交. F x ( ) ? T x x k 1 + = p k g k 1 + T p k = = 求这个二阶近似式的梯度并设它为零来得到驻点： 驻点: F(x) F2(x) F(x) F2(x) 对于一个正定的Hessian矩阵A, 称向量集合 　　　　是两两共扼的如果下式成立: 矩阵A的特征向量组成一个共扼向量集合. (对称矩阵的特征向量是正交的.) 已经证明，如果存在沿一个共扼方向集　　　　　　的准确线性有哪些信誉好的足球投注网站序列，就能在最多n次有哪些信誉好的足球投注网站内实现具有n个参数的二次函数的准确最小化。问题是如何构造这些共扼有哪些信誉好的足球投注网站方向而毋须先求Hessian矩阵？即找到一种不需要计算二阶导数的方法。 在第k +1次迭代梯度的变化是 其中 共扼条件可重写成： 这不需要Hessian矩阵了。 选择初始的有哪些信誉好的足球投注网站方向为梯度的反方向。 构造后继的有哪些信誉好的足球投注网站方向为共扼方向，即使后继向量 pk 与 {Δg0, Δg1, …, Δgk-1}正交。类似Gram-Schmidt正交化过程（第五章介绍），可有如下简化的迭代式： 其中 or or (用于二次函数) 共扼梯度 最速下降 Widrow-Hoff 学习算法 （LMS 算法） LMS 算法 ADALINE 网络 ? w i w i 1 , w i 2 , w i R , = 2-输入的ADALINE 均方差性能指数 训练集： 输入： 目标： 符号： 均方差： 均方差性能指数分析 ADALINE网络的均方差性能指数是一个二次函数： 近似的最速下降法 近似的均方误差(单个样本): 近似的梯度值: 近似的最速下降法 按最速下降方向更新 LMS 算法 多神经元情况 矩阵表示： 稳定条件 由于 , 　　　 总是成立。因此稳定性条件为： 对所有 当矩阵[I – 2aR]的所有特征值落在单位圆内时，此动态系统趋于稳定。设li是R的一个特征值，则[I - 2aR]的特征值将为1 – 2αli。因此系统的稳定的条件为： 或 例子 香蕉 苹果 第一次迭代 香蕉 检查 学习规则的能力 ? 只要权值的解存在（问题线性可分）， 该学习规则总能收敛到实现期望分类的 权值上。 感知机的局限性 线性判定边界 解决不了线性不可分问题 有导师的Hebb学习 Hebb规则 突触前的信号 突触后的信号 简化形式 无导师的形式： 有导师的形式： 矩阵形式： 学习速度常数 （设α＝１） 线性联想器 训练集: 线性层 输入 批操作 ? W t 1 t 2 ? t Q p