《机器学习及其应用》课件 第八章 常用深度网络模型.pptxVIP

计算机应用技术研究所1机器学习Machine Learning 汪荣贵 教授合肥工业大学计算机与信息学院 计算机应用技术研究所第8章 常用深度网络模型 深度循环网络2 生成对抗网络3 深度卷积网络1 本章学习内容 计算机应用技术研究所深度卷积网络 计算机应用技术研究所 深度卷积网络 卷积神经网络概述 基本网络模型 改进网络模型 卷积神经网络概述 生物神经元所能处理信息的复杂程度被称为神经元的感受野，而神经元对于信息位置与方向变化不敏感的特性被称为平移不变性，卷积神经网络正是根据生物神经系统的这些特性而提出的神经网络模型。下图展示了传统卷积神经网络的大致结构，此类网络主要对输入数据进行逐层交替的卷积和池化操作。 卷积神经网络概述卷积是一类对矩阵的线性运算方式，包含卷积操作的网络层被称为卷积层，其用来对输入图片进行特征提取，输出相应图片的特征图。一、卷积： 卷积神经网络概述?? 卷积神经网络概述??矩阵A 矩阵B 卷积操作示意 最小二乘估计卷积神经网络概述?? 最小二乘估计卷积神经网络概述?在实际操作中，步长越大，卷积操作所得到的特征矩阵越小，并且数据矩阵边界上的元素对特征矩阵的贡献较小，即丢失部分边界信息，为解决这些问题，通常会为原始数据填补上一圈或几圈元素，这一操作称之为填充（padding） 最小二乘估计卷积神经网络概述填充的圈数和填充的元素取值并无固定标准，但最常用的填充方式是为数据矩阵填充一圈或几圈0元素。如下图为填充后卷积操作： 最小二乘估计卷积神经网络概述???? 最小二乘估计卷积神经网络概述常见的填充策略： 最小二乘估计卷积神经网络概述二、池化：池化层亦称Pooling层，其操作是池化，即下采样，主要作用是通过去除输入的特征图中不重要的信息，使特征图变小，进行特征压缩，进一步减少参数量，且同时提取其中的有效信息。 最小二乘估计卷积神经网络概述池化的具体操作是定义池化窗口的大小。通常情况下，从某个池化窗口内进行采样的规则主要有取最大值、取最小值和取平均值三种，所对应的池化操作分别称之为最大池化、最小池化和均值池化。 最小二乘估计卷积神经网络概述三、激活函数：对于如下图的数据矩阵、卷积核和特征矩阵，由卷积操作的定义可知特征矩阵中的各元素取值分别为：?? 最小二乘估计卷积神经网络概述由上式可得到特征矩阵中部分元素与数据矩阵元素相关性关系如下左图所示。更直观的，将左图中数据矩阵与特征矩阵展开为右图中神经元形式：不难发现采用卷积操作可使得两层神经元之间采用局部连接方式，即并非所以神经元都具有连接边，并且这些连接边共享一组参数，这使得卷积神经网络的参数数量较少，因此卷积神经网络可有效避免过拟合现象。 最小二乘估计卷积神经网络概述?值得注意的是在卷积神经网络当中，卷积层的卷积核个数通常大于1，同层当中卷积核的个数也称为通道数，通常情况下卷积神经网络使用一组卷积核处理一个通道的数据矩阵。 最小二乘估计卷积神经网络概述 最小二乘估计卷积神经网络概述一个典型的卷积神经网络架构中包含多个交替的卷积层和池化层，而在网络的最后通常为多个全连接层。但是显然，直接使用全连接层将特征矩阵展开会破坏空间结构信息，为解决这一问题，人们开始考虑使用卷积层来代替全连接层，从而使得整个网络中不包含全连接层。 最小二乘估计卷积神经网络概述? 最小二乘估计卷积神经网络概述构造一个卷积神经网络的流程遵循构造神经网络的基本流程，也包括数据准备与预处理、模型初始化、确定优化目标、模型优化求解和验证模型性能等五个步骤，但由于卷积神经网络的结构与传统神经网络存在较大差异，并且所处理的数据形式较为特别，因此构造卷积神经网络的具体过程与构造传统神经网络的过程存在一定差异。构造卷积神经网络的具体过程如下。 最小二乘估计卷积神经网络概述一．数据准备与预处理? 最小二乘估计卷积神经网络概述卷积神经网络通常应用于计算机视觉任务，此类任务中所要处理的数据通常为图像数据，很多卷积神经网络对输入图像大小有所限制，而收集所得到的样本通常大小不一，为方便后续处理，需对样本进行尺寸归一化（resize）处理，即通过放缩将图像调整为满足要求的相同尺寸。 最小二乘估计卷积神经网络概述由于在数据准备阶段需要对数据进行人工标注，这导致很难得到大规模数据集，可在数据预处理阶段完成样本增强。对于图像数据的样本增强较为方便，通过放缩、裁剪、旋转、翻转等简单操作便可实现有效的数据增强，而针对于彩色图像，可采用颜色空间转换或色彩扰动方式实现样本增强。除上述对原始图像样本进行简单变换从而实现样本增强之外，还可使用深度置信网络、生成对抗网络等生成式模型生成虚拟样本从而实现样本增强。 最小二乘估计卷积神经网络概述二．模型初始化在卷积神经网络的模型初始化过程中