《计算机的科学及技术前沿讲座 》课程论文-.docVIP

华东理工大学2014—2015学年第_1_学期 《计算机科学与技术前沿讲座 》课程论文 2015.1 班级：计算机科学与技术313 姓名：谢毅刚 开课学院：信息学院 任课教师： 虞慧群 成绩__________ 论文题目：大数据背景下的深度学习算法 论文要求： 根据研一上半学期听过的讲座，介绍深度学习背景、国内外发展的现状，深度学习的模型以及面临的问题 大数据背景下的深度学习算法 摘要 随着大数据时代的到来，基于深度学习技术的机器学习方法被用于有效地分析和处理这些数据。的介绍了深度学习算法Deep Learning）的由来，国内外发展的现状，深度学习的模型以及面临的问题。大数据深度学习的重要性和发展方向。 ：大数据、深度学习Deep Learning 背景 大数据的存储、计算和分析是大数据处理中的关键技术，大数据的价值产生于对大数据的有效分析。因此，数据分析环节是大数据处理流程的核心和关键。互联网是大数据的主要来源之一。据数据分析公司 Domo 在 2011年和 2014年对每分钟新增网络数据的不完全统计，上传到YouTube 的视频时长从48 h上升为72 h，在Facebook 上分享的信息从 684478 条上升为2460000条，对Google的有哪些信誉好的足球投注网站请求从200万次上升为400万次等。每时每刻互联网上都有无数的网页和海量的音频、视频、图像等数据产生。现今大数据已触及并影响和改变着人们工作和生活的方方面面。从网络上的电子商务交易到对整个国家经济决策的制定，从医生诊断疾病、作出治疗方案到公路交通治理，从天气预报灾害预测到降低犯罪率、提高安全保障等，到处可见大数据的身影，但是却只有极少量的数据被分析和有效利用。这些数据呈现出非结构化和多源等特点，需要开发新的更加智能的数据挖掘和智能算法技术，从众多复杂的数据中发现规律和模式，提取出新的知识，辅助人类决策或给出可能的预测。采用人工智能和机器学习技术来分析大数据，让机器代替人工获得从数据中提取知识的能力，具有广泛的应用前景。以互联网上的应用为例：计算广告学、垃圾邮件过滤、推荐系统、时间序列（趋势分析）等都是大数据的用武之地。大数据时代背景下， 如何对纷繁复杂的数据进行有效分析，让其价值得以体现和合理的利用，是当前迫切需要思考和解决的问题。深度学习方法正是开启这扇大门的一把钥匙[1]。 深度学习是研究中的一个新的领域，其动机在于建立、模拟人脑进行分析学习的神经网络，它模仿人脑的机制来解释数据，例如图像，声音和文本。同机器学习方法一样，深度机器学习方法也有监督学习与无监督学习之分．不同的学习框架下建立的学习模型很是不同．例如，卷积神经网络（Convolutional neural networks，简称CNNs）就是一种深度的监督学习下的机器学习模型，而深度置信网（Deep Belief Nets，简称DBNs）就是一种无监督学习下的机器学习模型[2]。 深度学习起源于对神经网络的研究，20 世纪60 年代，受神经科学对人脑结构研究的启发，为了让机器也具有类似人一样的智能，人工神经网络被提出用于模拟人脑处理数据的流程。最著名的学习算法称为感知机。当时人们对人工神经网络的发展持乐观态度，曾掀起研究的热潮，认为人工智能时代不久即将到来。但随后人们发现，两层结构的感知机模型不包含隐层单元， 输入是人工预先选择好的特征， 输出是预测的分类结果，因此只能用于学习固定特征的线性函数，而无法处理非线性分类问题。 Minsky 等指出了感知机的这一局限，由于当时其他人工智能研究学派的抵触等原因，使得对神经网络的研究遭受到巨大的打击，陷入低谷。直到 20 世纪80年代中期，反向传播算法（back propogation，BP）的提出，提供了一条如何学习含有多隐层结构的神经网络模型的途径，让神经网络研究得以复苏。由于增加了隐层单元，多层神经网络比感知机具有更灵活且更丰富的表达力，可以用于建立更复杂的数学模型，但同时也增加了模型学习的难度，特别是当包含的隐层数量增加的时候，使用 BP 算法训练网络模型时， 常常会陷入局部最小值，而在计算每层节点梯度时，在网络低层方向会出现梯度衰竭的现象。因此，训练含有许多隐层的深度神经网络一直存在困难，导致神经网络模型的深度受到限制，制约了其性能。20 世纪 90年代开始，机器学习领域中兴起了对核机器和基于概率方法的图模型的研究。核机器具有一套完善的数学理论基础，且模型易于训练，并能获得令人满意的实际使用效果，因此机器学习研究人员大多转向对其的研究，而对神经网络的研究再次搁浅[1]。 2006年， 加拿大多伦多大学教授，机器学习领域的泰斗 Hinton和他的学生Salajhutdinov在顶尖学术刊物《科学》上发表了一篇文章，开启了深度学习在学术界和工业