哈尔滨工业大学《智能控制理论及应用》第二课新.pptVIP

BP learning steps * BP algorithm derivation * BP steps: forward propagation * BP steps: error calculation * BP steps: back propagation (output layer) * Delta规则 * Error back-propogation (hidden layer) * BP steps: back propagation (hidden layer) * * BP algorithm demo * BP algorithm review (advantages) Fully automatic learning; Approximation of almost arbitrary nonlinear function * Disadvantages: Local convergence (not global) Slow convergence rate How to choose learning rate parameter? How to design NN? * 神经元数学模型：向量描述 输入有时也记为u 设w0=-θ, x0=1, 则神经元模型又可记为： 神经元数学模型——作用函数 优点：1. 无限次可微；2. 导数形式简单※ β=1 β=2 神经元数学模型——作用函数 β=1 β=2 3．对称型阶跃函数 神经元数学模型——作用函数 待解决问题 给定输入和对应输出，自动构造一函数，模拟对应关系。 准则：误差最小 神经网络(前馈式)结构 单个神经元 单层神经元 多层神经元: 输入层，输出层，隐含层 u1 u2 1y1 1 w 1y2 2w y 三层神经元 学习过程就是调整权值的过程。 Hebb规则 按照Hebb学习规则，神经网络调整权值wij原则： 若第i与第j个神经元同时处于兴奋状态，则它们间的联接应加强，即： 这和“条件反射”学说一致，并已得到证实。 ?Hebb学习规则的相关假设，是许多学习规则的基础。 多层前馈网络与BP学习算法 　多层前馈网络的反向传播 （BP）学习算法，简称BP算法，是有导师的学习，它是梯度下降法在多层前馈网中的应用。 网络结构 　　　见图，u、y是网络的输入、输出向量，神经元用节点表示，网络由输入层、隐层和输出层节点组成，隐层可一层，也可多层（图中是单隐层），前层至后层节点通过权联接。由于用BP学习算法，所以常称BP神经网络。 　 BP学习算法 已知网络的输入/输出样本，即导师信号。 BP学习算法由正向传播和反向传播组成： 正向传播是输入信号从输入层经隐层，传向输出层，若输出层得到了期望的输出，则学习算法结束；否则，转至反向传播。 反向传播是将误差(样本输出与网络输出之差）按原联接通路反向计算，由梯度下降法调整各层节点的权值和阈值，使误差减小。 正向传播 反向传播 三层NN可识别任一凸多边形或无界的凸区域。更多层感知器网络，可识别更为复杂的图形。 多层前馈网络逼近能力 BP学习算法基本思想 设算法的输入输出样本(导师信号)为 {u1,t1}, {u2,t2},…{uQ,tQ} 即共Q个样本。或记为{uq,tq}, q=1,…Q 网络训练的目的，是使对每一个输入样本，调整网络参数，使输出均方误差最小化。 考虑迭代算法，设初始权值为w0, k时刻权值为wk, 则使用泰勒级数展开，有： 问题：如何选择 ，使J最小？ BP学习算法基本思想(续) 最直接的方法就是选择 这样每一步都能保证 ，从而使J最终可收敛到最小。这就是梯度下降算法，也是BP学习算法的基本思想。 设置初始权系数w0为较小的随机非零值； 给定输入/输出样本对，计算网络输出, 完成前向传播 计算目标函数J。如Jε, 训练成功，退出；否则转入④ 反向传播计算 由输出层，按梯度下降法将误差反向传播，逐层调整权值。 BP学习算法步骤 所有加黑斜体表示向量；非黑体为标量； 右上角数字表示层数； BP网络输入u为n维，输出为m维； 为方便观察，有时相乘关系用.表示； BP学习算法步骤：推导准备 考虑三层神经网络。 对于当前样本，期望输出为t, 输入为u 隐含层输出：对于第i个神经元， BP学习算法步骤：前向传播 选取为Log Sigmoid函数 输出层： BP学习算法步骤：计算误差 BP学习步骤：误差反传(输出层) 因此需要求 首先考虑输出层权值w2。根据链式求导法则， ， （为什么？） BP学习步骤：误