深度学习 课件 第2章 卷积神经网络.pptx

第二章卷积神经网络;;;卷积神经网络的起源;卷积神经网络的起源;卷积神经网络的起源;卷积神经网络的起源;卷积神经网络的发展;;卷积神经网络的基本结构;卷积层;例子：求两个骰子之和为4的概率;例子：求两个骰子之和为4的概率;例子：求两个骰子之和为4的概率;例子：求两个骰子之和为4的概率;卷积公式;卷积公式;18;19;20;21;22;23;24;25;26;27;28;29;30;31;32;33;?;Sigmoid激活函数存在“梯度饱和效应”问题，即Sigmoid激活函数两端梯度都趋于0，因此在使用误差反向传播算法进行网络训练时，该区域的误差无法传递到前一层，从而导致网络训练失败。;36;Tanh激活函数同样存在“梯度饱和效应”问题，即Tanh激活函数两端梯度也都趋于0，因此在使用误差反向传播算法进行网络训练时，该区域的误差也无法传递到前一层，从而导致网络训练失败。;38;与Sigmoid激活函数相比，ReLU在x≥0部分消除了“梯度饱和效应”，且ReLU的计算更简单，计算速度更快。

但ReLU本身也存在缺陷，如果输入为负值，其梯度等于0，导致“神经元死亡”，将无法进行权重更新，进而无法完成网络训练。

即便如此，ReLU仍然是当前深度学习领域中最为常用的激活函数之一。;40;?;42;ELU激活函数的优点是处理含有噪声的数据有优势，与Sigmoid激活函数相比更容易收敛。

ELU激活函数的缺点是计算量较大，与ReLU激活函数相比，收敛速度较慢。;44;Maxout激活函数的优点是能够缓解梯度消失问题，规避了ReLU激活函数“神经元死亡”的缺点。

Maxout激活函数的缺点是增加了一层神经网络，无形中增加了参数和计算量。;卷积神经网络中的激活函数选择

CNN在卷积层尽量不要使用Sigmoid和Tanh，将导致梯度消失。

首先选用ReLU，使用较小的学习率，以免造成神经元死亡的情况。

如果ReLU失效，考虑使用LeakyReLU、PReLU、ELU或者Maxout，此时一般情况都可以解决。

;47;48;49;50;51;52;53;54;55;56;57;58;;LeNet-5

AlexNet

VGGNet

GoolgeNet

ResNet;61;62;63;64;65;66;67;68;69;70;71;72;73;74;75;76;77;78;79;80;81;82;83;84;85;86;87;88;89;90;91;92;93;;95;96;97;98;99;100;101;SelectiveSearch算法

相似度计算考虑了颜色、纹理、尺寸和是否交叠四个方面：

;103;104;105;106;107;108;109;110;111;112;113;114;115;116;117;118;119;120;121;122;123;124;125;126;127;128;129;130;131;132;133;134;135;136;137;138;139;140;141;142;143;144;145;146;147;148;149;150;151;152;153;154;155;156;157;158;159;160;161;FCN;FCN;FCN;FCN;FCN;FCN;FCN;SegNet;Encoder

VGG-16，13个卷积层（卷积+BatchNormalization+ReLU），不含全连接层。

5个最大池化层。进行2×2最大池化时，存储相应的最大池化索引（位置）。

;Decoder

VGG-16，13个卷积层（卷积+BatchNo-rmalization+ReLU），不含全连接层。

5个上采样层，采用Encoder的最大池化索引进行上采样。

使用K类Softmax分类器来预测每个像素的类别。

;SegNet;SegNet;SegNet;UNet;Encoder-Decoder架构

Encoder：左半部分，由两个3x3的卷积层（RELU）再加上一个2x2的Maxpooling层组成，一共下采样4次。

Decoder：右半部分，由一个上采样的逆卷积层加上特征拼接再加上两个3x3的卷积层（ReLU）组成，也相应上采样4次。;Skipconnection

在同一个层次进行了特征Copy，保证了最后恢复出来的特征图融合了更多的底层特征，也使得不同尺度（scale）的特征得到了的融合，从而可以进行多尺度预测，4次上采样也使得分割图恢复边缘等信息更加精细。;UNet;UNet;UNet;姿态估计;姿态估计;姿态估计;姿态估计;姿态估计;姿态估计;姿态估计;姿态估计;姿态估计;姿态估计;姿态估计;姿态估计;姿态估计;姿态估计;人脸识别;人脸识别;人脸识别;人脸识别;数据集;数据集;数据集;?;D