深度学习的基本理论与方法.pptx

PPT模板网-PPT网-网-免费PPT模板下载网-PPT模板网-PPT网-PPT模板下载网-PPT模板免费下载网-PPT教程网-PPT素材网-PPT课件深度学习的基本理论方法深度学习理论培训PPT课件讲述人：XXX日期：20××.××.××Deeplearning(DL),abranchofmachinelearning(ML)andartificialintelligence(AI)isnowadaysconsideredasacoretechnologyoftoday’sFourthIndustrialRevolution.?深度学习的概述与动机|深度学习的具体模型与方法|深度学习的应用与问题

目录CONTENTS01深度学习的概述与动机Overviewandmotivationofdeeplearning02深度学习的具体模型与方法Specificmodelsandmethodsofdeeplearning03深度学习的应用与问题Applicationsandproblemsofdeeplearning

01PART深度学习的概述与动机Deeplearning(DL),abranchofmachinelearning(ML)andartificialintelligence(AI)isnowadaysconsideredasacoretechnologyoftoday’sFourthIndustrialRevolution.?

1基本概念浅层学习浅层学习是机器学习的第一次浪潮人工神经网络（BP算法）SVM、Boosting、最大熵方法（如LR，LogisticRegression）虽被称作多层感知机，但实际是种只含有一层隐层节点的浅层模型带有一层隐层节点（如SVM、Boosting），或没有隐层节点（如LR）的浅层模型局限性：有限样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受限。

1基本概念SIFT算法HoG算法Textons算法Spinimage算法RIFT算法GLOH算法

1基本概念2006年，加拿大多伦多大学教授、机器学习领域的泰斗GeoffreyHinton在《科学》上发表论文提出深度学习主要观点多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类；深度神经网络在训练上的难度，可以通过“逐层初始化”（layer-wisepre-training）来有效克服，逐层初始化可通过无监督学习实现的。0102

1基本概念深度学习深度学习通过组合低层特征形成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示1981年的诺贝尔医学奖获得者DavidHubel和TorstenWiesel发现了一种被称为“方向选择性细胞的神经元细胞，当瞳孔发现了眼前的物体的边缘，而且这个边缘指向某个方向时，这种神经元细胞就会活跃

1基本概念深度学习的优势能以更加紧凑简洁的方式来表达比浅层网络大得多的函数集合训练深度学习的困难01数据获取问题：考虑到深度网络具有强大的表达能力，在不充足的数据上进行训练将会导致过拟合局部极值问题：与梯度下降法有关02

1深度神经网络的演化神经网络深度神经网络多层感知器

1神经网络输出?激活函数?????+1

1神经网络???+1+1?Layer?Layer?Layer????????

1多层感知器???+1+1?Layer?Layer?Layer?+1?Layer网络中包含一层或多个隐藏在输入和输出神经节点之间的层

1多层感知器多层感知器的训练分为以下两个阶段前向阶段网络中突触的权值是固定的，输入信号在网络中一层一层的传播，直到输出端反向阶段反向传播算法

1反向传播算法反向传播算法可表示为以下几个步骤01进行前馈传导计算，利用前向传导公式，得到?直到输出层??的激活值??02对输出层（第??层）的计算??03对于?各层的计算04计算最终需要的???05根据残差对参数W和b做出更新??

1多层感知器在有了多层感知器之后为什么还需要提出深度学习？?

1深度神经网络强调了模型结构的深度，通常有5-10多层的隐层节点明确突出了特征学习的重要性，通过逐层特征变换，将样本在原空间的特征表示变换到一个新特征空间，从而使分类或预测更加容易。与人工规则构造特征的方法相比，利用大数据来学习特征，更能够刻画数据的丰富内在信息。好处：可通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分