深度学习介绍Anintroductiontodeeplearning.pptxVIP

An Introduction to Deep Learning0130349037 郭浩楠Mystical Force of Deep Learning2012年6月，《纽约时报》披露了Google Brain项目，吸引了公众的广泛关注。这个项目是由著名的斯坦福大学的机器学习教授Andrew Ng和在大规模计算机系统方面的世界顶尖专家 JeffDean 共同主导，用16000个CPU Core的并行计算平台训练一种称为“深度神经网络”（DNN，Deep Neural Networks）的机器学习模型。项目负责人之一Andrew称：“我们没有像通常做的那样自己框定边界，而是直接把海量数据投放到算法中，让数据自己说话，系统会自动从数据中学习。”此项目将应用于语音识别和图像识别等领域。2012年11月，微软在中国天津的一次活动上公开演示了一个全自动的同声传译系统，讲演者用英文演讲，后台的计算机一气呵成自动完成语音识别、英中机器翻译和中文语音合成，效果非常流畅。据报道，后面支撑的关键技术是DNN，或者深度学习（Deep Learning）。2013年1月，在百度年会上，创始人兼CEO李彦宏高调宣布要成立百度研究院，其中第一个成立的就是“深度学习研究所”（IDL，Institute of Deep Learning）。deep neural network，深度神经网络，属于深度学习的一种)来提高语音识别准确率的效果，相比目前最先进的基于Hidden Markov Model的技术，其准确率提升了大约30%深度学习系统可以准确的将物体分类并添加主题，使YouTube视频分类达到16%的准确度。这个数字虽然看起来很小，但是已经比上一代系统提高了70%。Background: machine learning机器学习（Machine Learning）是一门专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能的学科。1959年美国的塞缪尔(Samuel)设计了一个下棋程序，这个程序具有学习能力，它可以在不断的对弈中改善自己的棋艺。4年后，这个程序战胜了设计者本人。又过了3年，这个程序战胜了美国一个保持8年之久的常胜不败的冠军。选取好的特征对分类的效率有很大影响，手工地选取特征是一件非常费力、启发式的方法。Deep learning ,又叫 Unsupervised Feature Learning或者Feature Learning，是一种特征学习算法。用Deep learning方法可以很容易得到能拿来有效利用的高度抽象的特征。Motivation: why go deep?Brains have a deep architecture Humans organize their ideas hierarchically, through composition of simpler ideas Insufficiently deep architectures can be exponentially inefficient Distributed (possibly sparse) representations are necessary to achieve non-local generalization, exponentially more efficient than 1-of-N enumeration latent variable values Multiple levels of latent variables allow combinatorial sharing of statistical strength How to train Deep ArchitectureBefore 2006, training deep architectures was unsuccessful, except for convolutional neural nets Hinton, Osindero Teh ? A Fast Learning Algorithm for Deep Belief Nets ?, Neural Computation, 2006 Bengio, Lamblin, Popovici, Larochelle ? Greedy Layer-Wise Training of Deep Networks ?, NIPS’2006 Ranzato, Poultney, Chopra, LeCun ? Efficient Learning of Sparse Representations with an Energy-Based Model