第七章循环神经网络-神经网络与深度学习.pdf

第七章 循环神经网络 前馈神经网络假设每次输入都是独立的，也就是说每次网络的输出只依赖 于当前的输入。但是在很多现实任务中，不同时刻的输入可以相互影响，比如 视频、语音、文本等序列结构数据。某个时刻的输出可能和前面时刻的输入相 关。此外，这些序列结构数据的长度一般是不固定的。而前馈神经网络要求输 入和输出的维数都是固定的，不能任意改变。当处理序列数据时，前馈神经网 络就无能力为了。 （ ， ），也叫 。 循环神经网络 递归神经网络 这里为了区别与另外一种递归神经网络（ ），我们称 为循环神经网络。在前馈神经网络模型中，连接存在层与层之间，每层的节点 之间是无连接的。 循环神经网络通过使用带自反馈的神经元，能够处理任意长度的序列。循 环神经网络比前馈神经网络更加符合生物神经网络的结构。循环神经网络已经 被广泛应用在语音识别、语言模型以及自然语言生成等任务上。 给定一个输入序列x = (x , x , . . . , x , . . . , x )，循环神经网络通过下面 1:T 1 2 t T 公式更新带反馈边的隐藏层的活性值h ： t 0 t = 0 ht = f (h , x ) t1 t 从数学上讲，公式可以看成一个动态系统。动态系统是指系统的状态按 照一定的规律随时间变化的系统。因此，活性值h 在很多文献上也称为状态或 t 隐状态。但这里的状态是数学上的概念，区别与我们在前馈网络中定义的神经 元的状态。理论上循环神经网络可以近似任意的动态系统。图给出了循环神 经网络的示例。 第七章 循环神经网络 输出层 h h 隐藏层 延迟器 x 输入层 h 图 循环神经网络 循环神经网络的参数训练可以通过时序反向传播（ ， ）算法 来学习。时序反向传播即按照时间的逆序将 错误信息一步步地往前传递。这样，当输入序列比较长时，会存在梯度爆炸和 消失问题 ，也称为长期依赖问题。为了解决这个问题，人们对循环神经网络 进行了很多的改进，其中最有效的一个改进版本是长短时记忆神经网络 （ ， ） 。 在本章中，我们先介绍循环神经网络的基本