深度学习应用技术研究.pdfVIP

第３３卷第１１ 期 计 算 机 应 用 研 究 Ｖｏｌ．３３ Ｎｏ．１１ ２０１６年１１ 月　 Ａｐｐｌｉｃａｔｉｏｎ Ｒｅｓｅａｒｃｈ ｏｆＣｏｍｐｕｔｅｒｓ Ｎｏｖ．２０１６ 深度学习应用技术研究 １，２ ２ １ １ 毛勇华 ，桂小林 ，李　前 ，贺兴时 （１．西安工程大学理学院，西安７１００４８；２．西安交通大学 电子与信息工程学院，西安７１００４９） 摘　要：针对深度学习应用技术进行了研究性综述。详细阐述了ＲＢＭ（受限玻尔兹曼机）逐层预训练后再用 ＢＰ（反向传播）微调的深度学习贪婪层训练方法，对比分析了ＢＰ算法中三种梯度下降的方式，建议在线学习系 统采用随机梯度下降，静态离线学习系统采用随机小批量梯度下降；归纳总结了深度学习深层结构特征，并推荐 了目前最受欢迎的五层深度网络结构设计方法。分析了前馈神经网络非线性激活函数的必要性及常用的激活 函数优点，并推荐ＲｅＬＵ（ｒｅｃｔｉｆｉｅｄ ｌｉｎｅａｒｕｎｉｔｓ）激活函数。最后简要概括了深度卷积神经网络、深度递归神经网 络、长短期记忆网络等新型深度网络的特点及应用场景，归纳总结了当前深度学习可能的发展方向。 关键词：受限玻尔兹曼机；深度神经网络；梯度下降；验证集；监督学习；贪婪层训练方法；深度学习；深度学 习层次结构 中图分类号：ＴＰ１８１　　　文献标志码：Ａ　　　文章编号：１００１３６９５（２０１６）１１３２０１０５ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１３６９５．２０１６．１１．００１ Ｓｔｕｄｙ ｏｎ ａｐｐｌｉｃａｔｉｏｎ ｔｅｃｈｎｏｌｏｇｙ ｏｆｄｅｅｐ ｌｅａｒｎｉｎｇ １，２ ２ １ １ Ｍａｏ Ｙｏｎｇｈｕａ ，Ｇｕｉ Ｘｉａｏｌｉｎ ，Ｌｉ Ｑｉａｎ ，Ｈｅ Ｘｉｎｇｓｈｉ （１．Ｓｃｈｏｏｌ ｏｆＳｃｉｅｎｃｅ，Ｘｉ’ａｎ Ｐｏｌｙｔｅｃｈｎｉｃ Ｕｎｉｖｅｒｓｉｔｙ，Ｘｉ’ａｎ７１００４８，Ｃｈｉｎａ；２．Ｓｃｈｏｏｌ ｏｆＥｌｅｃｔｒｏｎｉｃｓ ＆Ｉｎｆｏｒｍａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ，Ｘｉ’ａｎ Ｊｉａｏ ｔｏｎｇ Ｕｎｉｖｅｒｓｉｔｙ，Ｘｉ’ａｎ７１００４９，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｔｈｉｓｐａｐｅｒｒｅｖｉｅｗｅｄ ｔｈｅ ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｌｇｏｒｉｔｈｍｓａｎｄ ｔｈｅｉｒａｐｐｌｉｃａｔｉｏｎｓ．Ｉｔ ｅｌａｂｏｒａｔｅｄ ｔｈｅ ｇｒｅｅｄｙ ｌａｙｅｒｔｒａｉｎｉｎｇ ａｌ ｇｏｒｉｔｈｍ ｗｈｉｃｈ ｕｓｅｄ ｔｈｅ ｆｉｎｅｇｒａｉｎｅｄ ｂａｃｋｐｒｏｐａｇａｔｉｏｎ （ＢＰ）ｌｅａｒｎｉｎｇ ｆｏｌｌｏｗｉｎｇ ｔｈｅ ｌａｙｅｒｗｉｓｅ ｐｒｅｔｒａｉｎｉｎｇ ｏｎ ｅａｃｈ ｒｅｓｔｒｉｃｔｅｄ Ｂｏｌｔｚｍａｎｎ ｍａｃｈｉｎｅ （ＲＢＭ）ｌａｙｅｒ．Ａｆｔｅｒｃｏｍｐａｒｉｎｇ ａｎｄ ａｎａｌｙｚｉｎｇｔｈｅ ｔｈｒｅｅ ｗａｙｓｏｆｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ ｉｎ ｔｈｅ ＢＰａｌｇｏｒｉｔｈｍ，ｔｈｉｓ ｐａｐｅｒ ｓｕｇｇｅｓｔｅｄ ａｐｐｌｙｉｎｇ ｓｔｏｃｈａｓｔｉｃ ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ ｉｎ ｏｎｌｉｎｅ ｌｅａｒｎｉｎｇ ａｎｄ ａｄｏｐｔｉｎｇ ｓｔｏｃｈａｓｔｉｃ ｍｉｎｉｂａｔｃｈ ｇｒａｄｉｅｎｔ ｄｅｓｃｅｎｔ ｉｎ ｓｔａｔｉｃ ｏｆｆｌｉｎｅ ｌｅａｒｎｉｎｇ．Ｉｔ ｓｕｍｍａｒｉｚｅｄ ｔｈｅ ｃｈａｒａｃｔｅｒｉｓｔｉｃ ｏｆｔｈｅ ｎｅｔｗｏｒｋ ｓｔｒｕｃｔｕｒｅ ｉｎ ｄｅｅｐ ｌｅａｒｎｉｎｇ ａｎｄ ｒｅｃｏｍｍｅｎｄ ｔｈｅ ｄｅｓｉｇｎ