深度学习研究综述-计算机应用研究.pdfVIP

第２９卷第８期 计 算 机 应 用 研 究 Ｖｏｌ．２９Ｎｏ．８ ２０１２年８月　 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ Ａｕｇ．２０１２ 深度学习研究综述 １ １，２ １，２ １，２ 孙志军 ，薛　磊 ，许阳明 ，王　正 （１．电子工程学院，合肥２３００３７；２．安徽省电子制约技术重点实验室，合肥２３００３７） 摘　要：深度学习是一类新兴的多层神经网络学习算法，因其缓解了传统训练算法的局部最小性，引起机器学 习领域的广泛关注。首先论述了深度学习兴起渊源，分析了算法的优越性，并介绍了主流学习算法及应用现状， 最后总结了当前存在的问题及发展方向。 关键词：深度学习；分布式表示；深信度网络；卷积神经网络；深凸网络 中图分类号：ＴＰ１８１　　　文献标志码：Ａ　　　文章编号：１００１３６９５（２０１２）０８２８０６０５ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１３６９５．２０１２．０８．００２ Ｏｖｅｒｖｉｅｗｏｆｄｅｅｐｌｅａｒｎｉｎｇ １ １，２ １，２ １，２ ＳＵＮＺｈｉｊｕｎ，ＸＵＥＬｅｉ ，ＸＵＹａｎｇｍｉｎｇ ，ＷＡＮＧＺｈｅｎｇ （１．ＥｌｅｃｔｒｏｎｉｃＥｎｇｉｎｅｅｒｉｎｇＩｎｓｔｉｔｕｔｅ，Ｈｅｆｅｉ２３００３７，Ｃｈｉｎａ；２．ＫｅｙＬａｂｏｒａｔｏｒｙｏｆＥｌｅｃｔｒｏｎｉｃＲｅｓｔｒｉｃｔｉｏｎ，Ｈｅｆｅｉ２３００３７，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｄｅｅｐｌｅａｒｎｉｎｇｉｓａｎｅｗｗａｙｏｆｔｒａｉｎｉｎｇｍｕｌｔｉｌａｙｅｒｎｅｕｒａｌｎｅｔｗｏｒｋ．Ｔｈｅｏｐｔｉｍｉｚａｔｉｏｎｄｉｆｆｉｃｕｌｔｙａｓｓｏｃｉａｔｅｄｗｉｔｈｔｈｅ ｄｅｅｐｍｏｄｅｌｓｃａｎｂｅａｌｌｅｖｉａｔｅｄ，ｉｔｈａｓｉｎｄｕｃｅｄｇｒｅａｔａｔｔｅｎｔｉｏｎｏｆｍａｃｈｉｎｅｌｅａｒｎｉｎｇｃｏｍｍｕｎｉｔｙ．Ｆｉｒｓｔｌｙ，ｔｈｉｓｐａｐｅｒｄｉｓｃｕｓｓｅｄｔｈｅ ｏｒｉｇｉｎｏｆｄｅｅｐｌｅａｒｎｉｎｇ，ｔｈｅｎａｎａｌｙｚｅｄｖｉｒｔｕｅｂｒｏｕｇｈｔｂｙｄｅｅｐｌｅａｒｎｉｎｇ．Ｉｔｉｎｔｒｏｄｕｃｅｄｔｈｅｍａｉｎｓｔｒｅａｍｄｅｅｐｌｅａｒｎｉｎｇａｌｇｏｒｉｔｈｍ ａｎｄｔｈｅｉｒａｐｐｌｉｃａｔｉｏｎｓ．Ｆｉｎａｌｌｙｉｔｃｏｎｃｌｕｄｅｄｔｈｅｐｒｏｂｌｅｍｒｅｍａｉｎｉｎｇａｎｄｄｅｖｅｌｏｐｍｅｎｔｏｒｉｅｎｔａｔｉｏｎ． Ｋｅｙｗｏｒｄｓ：ｄｅｅｐｌｅａｒｎｉｎｇ；ｄｉｓｔｒｉｂｕｔｅｄｒｅｐｒｅｓｅｎｔａｔｉｏｎ；ｄｅｅｐｂｅｌｉｅｆｎｅｔｗｏｒｋ；ｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ；ｄｅｅｐｃｏｎｖｅｘ ｎｅｔｗｏｒｋ 　引言 　深度学习神经学启示及理论依据 深度学习的概念源于人工神经网络的研究，含多隐层的多 　深度学习神经学启示 层感知器（ＭＬＰ）就是一种深度学习结构。深度学习通过组合 尽管人类每时每刻都要面临着大量的感知数据，却总能以 低层特征形成更加抽象的高层表示（属性类别或特征），以发 一种灵巧方式获取值得注意的重要信息。模仿人脑那样高效 ［１］ 现数据的分布式特征表示 。ＢＰ算