深度学习研究概述.pdfVIP

科技创新导报 2015 NO.30 Science and Technology Innovation Herald 创新教育 DOI：10.16660/j.cnki.1674-098X.2015.30.224 深度学习研究概述 1 2 聂振海 贾丹 （1.长春工程学院计算机技术与工程学院；2.长春经济技术开发区财务结算中心 吉林长春 1300012） 摘 要：基于“深度神经网络”（DNN，深层神经网络）的机器学习模型，已在语音识别、图像识别和自然语言处理领域取得突破 进展。深度学习极大地拓展了机器学习研究领域，并推动人工智能技术取得迅猛发展。深度学习通过多层人工神经网络，从大量 的训练数据集中无监督学习，不断地归纳总结并可对新的数据样本做出智能识别和准确预测。 关键词：深度学习 人工神经网络 机器学习 中图分类号：TP181 文献标识码：A 文章编号：1674-098X(2015)10(c)-0224-02 20世纪80年代末，人工神经网络反向传播算法（BP，反向 深刻获取大数据的隐含信息，从而方便地对数据进行可视 传播）发明，极大地扩展了机器学习的研究基础，继而推进基 化或分类处理;(2)深度学习的难度可以通过无监督学习“逐 于统计模型的机器学习范畴。BP算法允许使用的人工神经网 层初始化”有效地克服。谷歌、Facebook等大数据顶尖的 络模型，从大量的统计规律，预测未知事件的训练样本的学 IT企业现在广泛深入的进入深度学习研究领域，在大数据 习。根据对比的实验结果，基于人工规则的统计模型机器学习 时代，更复杂，更强大的模型往往更深刻地揭示出丰富的数 方法，结果表明具有相对优越性。基于人工神经网络BP算法， 据信息内涵，并对未来或未知事件作出更准确的预测。 虽然被称为多层感知器，但仍然是一个浅层的模型，只具有一 个隐藏层节点。90年代以来，众多基于浅层模型的机器学习 1 语音识别 算法应运而生，如,支持向量机（SVM），Boosting，最大熵法 在语音识别领域，深度学习面临的问题是海量数据信息 （LR）等。这些模型的结构通常只包含一个隐层节点（SVM， 处理问题。在其声学建模部分，它通常面对10亿级别以上的 Boosting），或者不隐藏节点（LR）。在学术研究和工业应用 训练样本。谷歌语音识别的研究小组发现，比对训练DNN预 中证明：这些机器学习模型是一个巨大的成功。自2000年以 测误差和测试大致相等的样本之后，预测误差对训练样本的 来，随着IT行业的蓬勃发展，智能分析和大数据预测的技术 通常模式将显著小于测试样品。由于大量的数据包含了丰富 在互联网领域呈现出巨大的市场需求，基于浅层模型的机器 的信息层面，DNN大容量复杂的模型也是欠拟合状态。 传统的语音识别系统，基于统计概率模型对每个建模单 学习算法获得不断应用推广。如,移动应用平台的有哪些信誉好的足球投注网站广告系 元描述时，大多采用高斯混合模型（GMM）。这种模式适用 统,谷歌的AdWords广告的点击率估算，网络有哪些信誉好的足球投注网站排序（如雅 于大量数据的训练，成熟的区分度技术支持。但是高斯混合 虎和Bing有哪些信誉好的足球投注网站引擎），垃圾邮件过滤系统，社交媒体上的推荐 模型本质上是一种浅层网络建模，不能完全描述出空间分布 系统内容推广。 特性的状态。GMM建模特征尺寸通常为几十维，不能充分 传统的机器学习模式是通过监督学习和半监督学习，人