借助深度学习,多处理层组成的计算模型可通过多层抽象来学.PDFVIP

Nature 重磅：Hinton、LeCun、Bengio 三巨头权威科普深度学习 借助深度学习，多处理层组成的计算模型可通过多层抽象来学习数据表征 （representations ）。这些方法显著推动了语音识别、视觉识别、目标检测以及许多 其他领域（比如，药物发现以及基因组学）的技术发展。利用反向传播算法 （backpropagation algorithm ）来显示机器将会如何根据前一层的表征改变用以计算 每层表征的内部参数，深度学习发现了大数据集的复杂结构。深层卷积网络（deep convolutional nets)为图像、视频和音频等数据处理上带来突破性进展，而递归网络 （recurrent nets ）也给序列数据（诸如文本、语言）的处理带来曙光。 机器学习为现代生活诸多方面带来巨大动力：从网页有哪些信誉好的足球投注网站到社交网络内容过滤再到 电商网商推荐，在相机、智能手机等消费品中也越来越多见。机器学习系统被用来识别 图像中的物体、将语音转为文本，根据用户兴趣自动匹配新闻、消息或产品，挑选相关 有哪些信誉好的足球投注网站结果。这类被应用程序越来越多地采用的技术，叫做深度学习。 传统机器学习技术在处理原始输入的自然数据方面能力有限。几十年来，建构模式 识别或机器学习系统需要利用严谨的工程学和相当丰富的专业知识设计出一个特征提取 器，它能将原始数据（例如图像像素值）转化成适于内部描述或表征的向量（ vector ）， 在提取器中，学习子系统（通常是一个分类器）可以检测或分类输入模式。 表征学习（representation learning ）是这样一套学习方法：输入原始数据后，机 器能够自动发现检测或分类所需的表征信息。深度学习是一种多层描述的表征学习，通 过组合简单、非线性模块来实现，每个模块都会将最简单的描述（从原始输入开始）转 变成较高层、较为抽象的描述。通过积累足够多的上述表征转化，机器能学习非常复杂 的函数。就分类任务来说，更高层的表征会放大输入信号的特征，而这对区分和控制不 相关变量非常关键。比如，图片最初以像素值的方式出现，第一特征层级中，机器习得 的特征主要是图像中特定方位、位置边沿之有无。第二特征层级中，主要是通过发现特 定安排的边缘来检测图案，此时机器并不考虑边沿位置的微小变化。第三层中会将局部 图像与物体相应部分匹配，后续的层级将会通过把这些局部组合起来从而识别出整个物 体。深度学习的关键之处在于：这些特征层级并非出自人类工程师之手；而是机器通过 一个通用（general-purpose ）学习程序，从大量数据中自学得出。 某些根深蒂固的问题困扰了人工智能从业者许多年，以至于人们最出色的尝试都无 功而返。而深度学习的出现，让这些问题的解决迈出了至关重要的步伐。深度学习善于 在高维度的数据中摸索出错综复杂的结构，因此能应用在许多不同的领域，比如科学、 商业和政府。此外，除了图像识别和语音识别，它还在许多方面击败了其他机器学习技 术，比如预测潜在药物分子的活性、分析粒子加速器的数据、重构大脑回路、预测非编 码 DNA 的突变对基因表达和疾病有何影响等。也许，最让人惊讶的是，在自然语言理 解方面，特别是话题分类、情感分析、问答系统和语言翻译等不同的任务上，深度学习 都展现出了无限光明的前景。 在不久的将来，我们认为深度学习将取得更多成就，因为它只需要极少的人工参与， 所以它能轻而易举地从计算能力提升和数据量增长中获得裨益。目前正在开发的用于深 层神经网络的新型学习算法和体系结构必将加速这一进程。 监督式学习 不管深度与否，机器学习最普遍的形式都是监督式学习（supervised learning ）。 比如说，我们想构造一个系统，它能根据特定元素对图片进行分类，例如包含一栋房子、 一辆车、一个人或一只宠物。首先，我们要收集大量包含有房子、车、人或宠物的图片， 组成一个数据集（data set ），每张图片都标记有它的类别。在训练时，每当我们向机 器展示一张图片，机器就会输出一个相应类别的向量。我们希望的结果是：指定类别的 分数最高，高于其他所有类别。然而，如果不经过训练，这将是不可能完成的任务。为 此，我们通过一个目标函数来计算实际输出与期望输出之间的误差或距离。接下来，为 了减小误差，机器会对其内部可调参数进行调整。这些可调参数常被称为「权重」 （weight ），是实数，可看做定义机器输入-输出功能的「门把手」。在一个典型的深 度学习系统中，可能存在着成千上亿的可调权重及用以训练机器的标记样本。