深度学习及自动驾驶应用 课件 第4章 网络优化与正则化.pptx

Chapter4网络优化与正则化第四章DeepLearningAndAutonomousDriving深度学习与自动驾驶应用

DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第2页4.4数据预处理4.1网络优化4.3参数初始化方法4.2优化方法4.5逐层归一化目录Content4.6超参数优化4.7网络正则化

DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第3页深度学习的矛与盾正则化优化降低模型复杂度经验风险最小

DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第4页4.1网络优化结构差异大没有通用的优化算法超参数多非凸优化问题参数初始化逃离局部最优梯度消失（爆炸）问题

平坦最小值（FlatMinima）一个平坦最小值的邻域内，所有点对应的训练损失都比较接近大部分的局部最小解是等价的局部最小解对应的训练损失都可能非常接近于全局最小解对应的训练损失DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第5页4.1网络优化高维空间的非凸优化问题鞍点（SaddlePoint）驻点（StationaryPoint）：梯度为0的点

DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第6页4.1网络优化VISUALIZINGTHELOSSLANDSCAPEOFNNwithoutskipconnectionswithskipconnectionsLiH,XuZ,TaylorG,etal.Visualizingthelosslandscapeofneuralnets[C]//AdvancesinNeuralInformationProcessingSystems.2018:6389-6399.

DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第7页4.1网络优化神经网络优化的改善方法更有效的优化算法来提高优化方法的效率和稳定性动态学习率调整梯度估计修正更好的参数初始化方法、数据预处理方法来提高优化效率修改网络结构来得到更好的优化地形优化地形（OptimizationLandscape）指在高维空间中损失函数的曲面形状好的优化地形通常比较平滑使用ReLU激活函数、残差连接、逐层归一化等使用更好的超参数优化方法

DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第8页4.2优化方法随机梯度下降

DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第9页4.2优化方法小批量随机梯度下降minibatch?几个关键因素：小批量样本数量梯度学习率

DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第10页4.2优化方法批量大小的影响批量大小不影响随机梯度的期望，但是会影响随机梯度的方差批量越大，随机梯度的方差越小，引入的噪声也越小，训练也越稳定，因此可以设置较大的学习率而批量较小时，需要设置较小的学习率，否则模型会不收敛4种批量大小对应的学习率设置不同，因此并不是严格对比小批量梯度下降中，每次选取样本数量对损失下降的影响

DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第11页4.2优化方法改进方法标准的（小批量）梯度下降学习率学习率衰减AdagradAdadeltaRMSprop梯度Momentum计算负梯度的“加权移动平均”作为参数的更新方向Nesterovacceleratedgradient梯度截断Adamisbetterchoice!Adam梯度方向实际更新方向

DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第12页4.2优化方法学习率的影响

DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第13页4.2优化方法学习率的衰减梯级衰减（stepdecay）线性衰减（LinearDecay）衰减示意图

DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第14页4.2优化方法周期性学习率的调整

DeepLearningAndAutonomousDriving