第6课：走起-深度学习.pdfVIP

⾛起~深度学习 Kaggle项⽬班 七⽉在线加号 微博：@翻滚吧_加号 2017年1⽉ ⽬录 ■ 记忆⾥的过去 ■ RNN ■ LSTM ■ 眼前的五光⼗⾊ ■ 图⽚特征 ■ CNN 七⽉在线：Kaggle项⽬班 2 普通神经⽹络 七⽉在线：Kaggle项⽬班 3 RNN RNN的⽬的是让有sequential关系的信息得到考虑。 什么是sequential关系？ 就是信息在时间上的前后关系。 相⽐于普通神经⽹络： 七⽉在线：Kaggle项⽬班 4 RNNRNN 每个时间点中的S计算 这个神经元最终的输出， 基于最后⼀个S 简单来说，对于t=5来说，其实就相当于把⼀个神经元拉伸成五个 换句话说，S就是我们所说的记忆（因为把t从1-5的信息都记录下来了） 七⽉在线：Kaggle项⽬班 5 记忆 由前⽂可⻅，RNN可以带上记忆。 假设，⼀个『⽣成下⼀个单词』的例⼦： 『这顿饭真好』—— 『吃』 很明显，我们只要前5个字就能猜到下⼀个字是啥了 However， 如果我问你，『穿⼭甲说了什么？』 你能回答嘛？ (credit to 暴⾛漫画) 七⽉在线：Kaggle项⽬班 6 LSTM RNN 七⽉在线：Kaggle项⽬班 7 LSTM LSTM中最重要的就是这个Cell State， 它⼀路向下，贯穿这个时间线， 代表了记忆的纽带。 它会被XOR和AND运算符搞⼀搞， 来更新记忆 ⽽控制信息的增加和减少的， 就是靠这些阀⻔：Gate 阀⻔嘛，就是输出⼀个1于0之间的值： 1 代表，把这⼀趟的信息都记着 0 代表，这⼀趟的信息可以忘记了 七⽉在线：Kaggle项⽬班 8