人工智能导论（第2版）微课：神经网络与研究.pptx

;;深度学习是机器学习的分支，是一种以人工神经网络为架构，对数据进行表征学习的算法。已有多种深度学习框架，如深度神经网络、卷积神经网络、深度置信网络和递归神经网络，被应用在计算机视觉、语音识别、自然语言处理与生物信息学等领域并获得了极好的效果，推动人工智能进入工业化大生产阶段，具有很强的通用性，同时具备标准化、自动化和模块化基本特征。;每当开始一项新的研究时，通常会从已经存在的现成可借鉴方案入手。例如，假设是在1902年莱特兄弟成功进行飞行实验的前一年，你突发奇想要设计一个人造飞行器，那么，首先应该注意到，在自然界中飞行的“机器”实际上是存在的（鸟），由此得到启发，你的飞机设计

方案中可能要有两个大翼。同样，如果想设计人

工智能系统，那就要学习并分析这个星球上最自

然的智能系统之一，即人脑神经系统。;动物中枢神经系统由神经元组成，和所有细胞一样，它们具有含DNA的细胞核及含其他物质的细胞膜，细胞可以通过DNA复制过程简单地遗传信息。这些神经细胞能够将从脚趾接收到的感觉印象再由脊柱底部传至全身。例如，长颈鹿颈部的神经元能够伸展至其身体的每个角落。

神经细胞主要由三部分组成：细胞体、树突和

轴突。一个神经元在突触的连接处与其他10～

100000个神经元建立连接。;人脑是一种适应性系统，必须对变幻莫测的事物做出反应，而学习是通过修改神经元之间连接的强度来进行的。动物神经系统由数以千万计的互连细胞组成，而人脑由100亿~1000亿个神经元组成。

研究人员就是从这种自然典范中汲取灵感，设计人工神经网络。人工神经网络（ANN）是指以人脑和神经系统为模型的机器学习算法。如今，人工神经网络从股票市场预测到汽车的自主控制，在模式识别、经济预测和许多其他应用领域都有突出的应用表现。;与人脑神经系统类似，人工神经网络通过改变权重以呈现出相同的适应性。

在了解（并模拟）动物神经系统的行为的基础上，美国的麦卡洛克和皮茨开发了人工神经元的第一个模型。对应于生物神经网络的生物学模型，人工神经元采用了4个要素：

（1）细胞体，对应于神经元的细胞体。

（2）输出通道，对应于神经元的轴突。

（3）输入通道，对应于神经元的树突。

（4）权重，对应于神经元的突触。;作为一种非线性统计性数据建模工具，典型的神经网络具有以下3个部分：

（1）结构：指定网络中的变量及其拓扑关系。例如，神经网络中的变量可以是神经元连接的权重和神经元的激励值。

（2）激励函数：根据规则来定义神经元根据其他神经元活动改变自己的激励值。

（3）学习规则：指定人工神经网络中的权重如何随着时间推进而调整。;人脑平均包含1000亿个神经元，每个神经元又平均与7000个其他神经元相连，可以想象能够匹配人脑的计算机会有多庞大。计算机性能每18个月能强化一倍，在接下来的30年里，计算机的计算能力有望与人脑相匹敌。但拥有速度更快的计算机也无法立即创建起人工智能，因为我们还需要了解如何编程。

将这些神经元排列在至少三层结构中，一些情况下将多达30层，每一层都含有众多神经元，一个完整的神经网络可能含有10万个或更多的个体神经元，向第一层注入信号并解释最后一层发出的信号，以此来进行操作。;深度学习中“深度”的含义是指电路通常被设计成多层，这意味着从输入到输出的计算路径包含较多计算步骤，且其中的连接强度是可调整的，因此，通过深度学习方法训练的网络通常被称为神经网络，尽管它与真实的神经细胞和结构之间的相似性仅仅停留于表面。

深度学习学习样本数据的内在规律和表示层次，它在使用复杂机器学习算法的学习过程中所获得的信息，对诸如文字、图像识别和语音识别等数据的解释有很大帮助，所取得的效果远远超过先前的相关技术，其最终目标是让机器能够像人一样具有分析学习能力。;

图6-7学习的计算路径

（a）浅层模型，例如线性回归，其输入到输出之间的计算路径很短。

（b）决策列表网络中可能存在某些具有长计算路径的输入，但大多数计算路径都较短。

（c）深度学习网络具有更长的计算路径，且每个变量都能与所有其他变量相互作用。;以往很多算法是线性的，而现实世界大多数事情的特征是复杂非线性的。比如猫的图像中，就包含了颜色、形态、五官、光线等各种信息。深度学习的关键就是通过多层非线性映射将这些因素成功分开。

与浅层相比，多层神经网络简单地说，就是可以减少参数。因为它重复利用中间层的计算单元。以认猫为例，它学习猫的分层特征：最底层从原始像素开始，刻画局部的边缘和纹；中层把各种边缘进行组合，描述不同类型的猫的器官；最高层描述的是整个猫的全局特征。

深度学习中，经验以数据形式存在。因此，深度学习就是关于从数据中产生模型的算法，即深度学习算法。;深度学习可以这样定义：“深度学习是一种特殊的机器学习，通过学习将现实使用嵌套的概念层次来表示并实现巨大的功