(2014)解密接近人脑的智能学习机器 深度学习及并行化实现.pdfVIP

视点 第 10 卷  第 11 期  2014 年 11 月 解密接近人脑的智能学习机器 ——深度学习及并行化实现 蒋　杰　金　涬 关键词 ：深度学习　软件框架　工业界平台 腾讯公司 深度学习的革命 坦福大学人工智能实验室主任吴恩达(Andrew Ng) 和分布式系统顶级专家杰夫 ·迪恩(Jeff Dean) 领衔 人工智能是计算机领域一门具有神秘色彩的学 的梦幻阵容，开始打造 “谷歌大脑(Google Brain)” 科，科学家希望制造出代替人类思考的智能机器， 项目，用包含 1.6 万个CPU 核的并行计算平台训练 艺术家将这一题材写进小说，搬上银幕，引发了人 超过10 亿个神经元的深度神经网络，在语音识别和 们无限的遐想。然而，作为一门严肃的学科，人工 图像识别等领域取得了突破性的进展[4] 。该系统通 智能在过去的半个多世纪时间里发展得并不算顺 过分析YouTube 上选取的视频，采用无监督的方式 利。过去的很多努力还是基于某些预设规则的快速 训练深度神经网络，可将图像自动聚类。在系统中 有哪些信誉好的足球投注网站和推理，离真正的智能还有相当长的距离，或 输入 “cat”后，结果在没有外界干涉的条件下，识 者说距离创造像人类一样具有抽象学习能力的机器 别出了猫脸。 还很遥远。 20 12 年，微软首席研究官里克 ·雷斯特(Rick 近年来，深度学习开始直接尝试解决抽象认知 R ashid) 在21 世纪的计算大会上演示了一套自动同 的难题，并取得了突破性进展。深度学习引爆的这 声传译系统[5] ，将他的英文演讲实时转换成与他音 场革命将人工智能带上了一个新的台阶。不仅其学 色相近、字正腔圆的中文演讲。同声传译需要经历 术意义巨大，而且实用性很强。工业界也开始在这 语音识别、机器翻译、语音合成三个步骤。该系统 方面进行大规模的投入，一大批产品将从中获益。 一气呵成，流畅的翻译赢得了参会者的一致赞扬， 2006 年，机器学习泰斗、加拿大多伦多大学教 深度学习是这一系统中的关键技术。 授杰弗里 ·辛顿(Geoffery Hinton) 在 《科学》(Sci - 20 13 年，谷歌收购了一家名为DNN Research [1] ence) 上发表文章 ，提出了基于深度信念网络(Deep 的神经网络初创公司。这家公司只有三个人，杰 Belief Networks, DBN) 可使用非监督的逐层贪心训 弗里 ·辛顿和他的两个学生。这次收购并不涉及 [2] 练算法 ，为训练深度神经网络带来了希望。 任何产品和服务，只是希望辛顿可以将深度学习 20 12 年，辛顿又带领学生在目前最大的图像数 打造为支持谷歌未来的核心技术。同年，纽约大 据库ImageNet 上，对分类问题取得了惊人的进展[3] ， 学教授燕乐存(Yann LeCun) 加盟脸谱，出任人工 将Top5 错误率由26% 大幅降低至15%。 智能实验室主任[6] ，负责利用深度学习探寻用户 20 12 年，由人工智能和机器学习顶级学者、斯 图片等，希望在未来能给用户提供更智能化的产 64 第 10 卷  第 11 期  2014 年 11 月 品使用体验。 深层模型的基本结构 20 13 年，百度成立了百度研究院及下属的深度 学习研究所，将深度学习应用于语音识别和图像识 深度学习采用的模型为深层神经网络(Deep 别、检索以及广告点击率预估(Click-Through-Rate Neur al Network s , DN