第四章 人工神经网络(ANN).pptVIP

可微阈值单元（2） sigmoid单元先计算它的输入的线性组合，然后应用到一个阈值上，阈值输出是输入的连续函数 其中 * 可微阈值单元（3） sigmoid函数 也称logistic函数 挤压函数 输出范围是0到1 单调递增 导数很容易用函数本身表示 sigmoid函数的变型 其他易计算导数的可微函数 增加陡峭性 双曲正切函数 * 反向传播算法 用来学习多层网络的权值 采用梯度下降方法试图最小化网络输出值和目标值之间的误差平方 网络的误差定义公式，对所有网络输出的误差求和 * 反向传播算法 反向传播算法面临的学习任务 有哪些信誉好的足球投注网站一个巨大的假设空间，这个空间由网络中所有的单元的所有可能的权值定义，得到类似图1的误差曲面 在多层网络中，误差曲面可能有多个局部极小值，梯度下降仅能保证收敛到局部极小值 尽管有这个障碍，已经发现对于实践中很多应用，反向传播算法都产生了出色的结果 * * 反向传播算法 * 反向传播算法 表4-2给出的反向传播算法适用于包含两层sigmoid单元的分层前馈网络，并且每一层的单元与前一层的所有单元相连。 表4-2是反向传播算法的增量梯度下降（或随机梯度下降）版本 使用的符号做了如下扩展 网络中每个节点被赋予一个序号，这里的节点要么是网络的输入，要么是网络中某个单元的输出 xji表示节点i到单元j的输入，wji表示对应的权值 ?n表示与单元n相关联的误差项。 * 表4-2的算法解释 从建立一个具有期望数量的隐藏单元和输出单元的网络并初始化所有的网络的权值为小的随机数开始 给定一个固定的网络结构，算法的主循环就对训练样例进行反复的迭代 对于每一个训练样例，它应用目前的网络到这个样例，计算出对这个样例网络输出的误差，然后更新网络中所有的权值 对这样的梯度下降步骤进行迭代，直到网络的性能达到可接受的精度为止 反向传播算法的梯度下降法则 梯度下降权更新法则与delta训练法则相似 类似delta法则，依照以下三者来更新每一个权 学习速率? 该权值涉及的输入值xji 该单元的输出误差 不同于delta法则的地方 delta法则中的误差项被替换成一个更复杂的误差项?j * 反向传播算法的误差项 输出单元k的误差项 ?k与delta法则中的(tk-ok)相似，但乘上了sigmoid挤压函数的导数ok(1-ok)。 隐藏单元h的误差项 因为训练样例仅对网络的输出提供了目标值tk，所以缺少直接的目标值来计算隐藏单元的误差值 采取以下的间接方法计算隐藏单元的误差项：对受隐藏单元h影响的每一个单元的误差?k进行加权求和，每个误差?k权值为wkh，wkh就是从隐藏单元h到输出单元k的权值。这个权值刻画了隐藏单元h对于输出单元k的误差应负责的程度。 * 表4-2的算法解释（2） 表4-2的算法随着每个训练样例的出现而递增地更新权，这一点与梯度下降的随机近似算法一致 要取得误差E的真实梯度，需要在修改权值之前对所有训练样例的?jxji值求和 在典型的应用中，权值的更新迭代会被重复上千次 有很多终止条件可以用来停止这个过程 迭代的次数到了一个固定值时停止 当在训练样例上的误差降到某个阈值以下 在分离的验证样例集合上的误差符合某个标准 终止条件很重要，太少的迭代无法有效地降低误差，太多的迭代会导致对训练数据的过度拟合 * 增加冲量项 因为反向传播算法的应用如此广泛，所以已经开发出了很多反向传播算法的变体 修改权值更新法则，使第n次迭代时的权值的更新部分地依赖于发生在第n-1次迭代时的更新，比如 ?wji(n)=??jxji+??wji(n-1) 右侧第一项就是表4-2中的权值更新法则，第二项被称为冲量项 梯度下降的有哪些信誉好的足球投注网站轨迹就像一个球沿误差曲面滚下，冲量使球从一次迭代到下一次迭代时以同样的方向滚动 冲量有时会使这个球滚过误差曲面的局部极小值或平坦区域 冲量也具有在梯度不变的区域逐渐增大有哪些信誉好的足球投注网站步长的效果，从而加快收敛 * 学习任意的无环网络 表4-2的算法可以简单地推广到任意深度的前馈网络 第m层的单元r的?r值由更深的第m+1层?值根据下式计算 将这个算法推广到任何有向无环结构也同样简单，而不论网络中的单元是否被排列在统一的层上，计算任意内部单元的?的法则是： ，Downstream(r)是在网络中单元r的直接下游单元的集合，即输入中包括r的输出的所有单元 * 反向传播法则的推导 随机梯度下降算法迭代处理训练样例，每次处理一个，对于每个训练样例d，利用关于这个样例的误差Ed的梯度修改权值 * 符号说明 xji，单元j的第i个输入 wji，与xji相关联的权值 netj，单元j的输入的加权和 oj，单元j计算出的输出 tj，单元j的目标输出 ?，sigmoid函数 outputs，网络最后一层的输