深度学习：循环神经网络.pptxVIP

机器学习深度学习—循环神经网络 章节介绍深度学习是一种利用复杂结构的多个处理层来实现对数据进行高层次抽象的算法，是机器学习的一个重要分支。传统的BP算法仅有几层网络，需要手工指定特征且易出现局部最优问题，而深度学习引入了概率生成模型，可自动地从训练集提取特征，解决了手工特征考虑不周的问题，而且初始化了神经网络权重，采用反向传播算法进行训练，与BP算法相比取得了很好的效果。本章主要介绍了深度学习相关的概念和主流框架，重点介绍卷积神经网络和循环神经网络的结构以及常见应用。 循环神经网络循环神经网络是一种对序列数据建模的神经网络。RNN不同于前向神经网络，它的层内、层与层之间的信息可以双向传递，更高效地存储信息，利用更复杂的方法来更新规则，通常用于处理信息序列的任务。RNN在自然语言处理、图像识别、语音识别、上下文的预测、在线交易预测、实时翻译等领域得到了大量的应用。 《全世界就在那里》(外二首)　　○小冰　　河水上滑过一对对盾牌和长矛　　她不再相信这是人们的天堂　　眼看着太阳落了下去　　这时候不必再有爱的诗句　　全世界就在那里　　早已拉下了离别的帷幕　　生命的颜色　　你双颊上的道理　　是人们的爱情　　撒向天空的一个星　　变幻出生命的颜色　　我跟着人们跳跃的心　　太阳也不必再为我迟疑　　记录着生命的凭证像飞在天空没有羁绊的云冰雪后的水那霜雪铺展出的道路是你的声音啊雪花中的一点颜色是开启我生命的象征我的心儿像冰雪后的水一滴一滴翻到最后给我生命的上帝把它吹到缥缈的长空机器人写诗歌《机智过人》机心造化本无私，智略功夫巧笑时。过客不须频眺望，人间天上有新诗。——机器人“九歌” 图像加标题 议程RNN基本原理RNN主要用来处理序列数据，在传统的神经网络模型中，是从输入层到隐含层再到输出层，每层内的节点之间无连接，循环神经网络中一个当前神经元的输出与前面的输出也有关，网络会对前面的信息进行记忆并应用于当前神经元的计算中，隐藏层之间的节点是有连接的，并且隐藏层的输入不仅包含输入层的输出还包含上一时刻隐藏层的输出。理论上，RNN可以对任意长度的序列数据进行处理。 议程RNN基本原理一个典型的RNN网络结构如下图所示。 议程RNN基本原理? 议程RNN基本原理?与CNN一样，RNN也是参数共享，在时间维度上，共享权重参数U、V和W 议程RNN基本结构 议程RNN的运行过程 RNN示例 RNN的运行示例 RNN的训练在每个时间节点t = 0,1,2,3,4 神经网络的输出都会产生误差值：E0, E1，E2，E3，E4 。与前馈神经网络类似，RNN也使用反向传播梯度下降法更新权重。 RNN的不足（1）RNN缺陷：长期依赖(Long Term Dependencies)问题，产生长跨度依赖（短时记忆）的问题。梯度消失 RNN的不足（2）当梯度很大时，可以采用梯度截断的方法，将梯度约束在一个范围内。梯度爆炸 议程长短期记忆网络长短期记忆网络能够学习长期依赖关系，并可保留误差，在沿时间和层进行反向传递时，可以将误差保持在更加恒定的水平，让递归网络能够进行多个时间步的学习，从而建立远距离因果联系。它在许多问题上效果非常好，现在被广泛应用。 （1）输入一个输出多个，例如输入一张图像，输出这个图像的描述信息。（2）输入是多个，输出则是一个，例如输入段话，输出这段话的情感。（3）输入是多个，输出也是多个，如机器翻译输入一段话输出也是一段话（多个词）。（4）多个输入和输出是同步的，例如进行字幕标记。RNN分类：循环神经网络的类型 RNN图像注释O. Vinyals et al. Show and tell: A neural image caption generator, arXiv:1411.4555v1, 2014 RNN实例 RNN与LSTM 议程长短期记忆神经网络长短期记忆网络将信息存放在递归网络正常信息流之外的门控单元中，这些单元可以存储、写入或读取信息，就像计算机内存中的数据一样。但愿通过门的开关判定存储哪些信息，何时允许读取、写入或清除信息。这些门是模拟的，包含输出范围全部在0～1之间的Sigmoid函数的逐元素相乘操作。这些门依据接收到的信号开关，而且会用自身的权重集对信息进行筛选，根据强度和输入内容决定是否允许信息通过。这些权重会通过递归网络的学习过程进行调整。 长短期记忆神经网络的结构 长短期记忆神经网络运行动画 遗忘门的Sigmoid激活函数一个新的候选值，判断是否将其加入到元胞状态中保留重要信息，更新状态忘掉不重要信息选择重要的信息作为元胞状态的输出长短期记忆神经网络的结构 遗忘门的Sigmoid激活函数一个新的候选值，判断是否将其加入到元胞状态中保留重要信息，更新状态忘掉不重要信息选择重要的信息作为元胞状态的输出长短期记忆神经网络的结构?