Imagenetclassificationwithdeepconvolutionalneuralnetworks题库.pptVIP

AlexNet Introduction by. 孙超 The Architecture（体系结构） 1.1 ReLU 1.2 Training on Multiple GPUs 1.3 Local Response Normalization(RLN 局部响应归一化) 1.4 Overlapping pooling（重叠池化） Reducing Overfitting（减少过度拟合） 2.1 Data Augmentation（数据加强） 2.2 Dropout Main content Architecture Improving 1，采用ReLU来代替传统的tanh(or sigmoid)引入非线性。 2，采用2块显卡来进行并行计算，减少了更多显卡需要host传递数据的时间消耗，在结构上，部分分布在不同显卡上面的前后层节点之间无连接，从而提高了训练速度。 3，同层相邻节点的响应进行局部归一化(lrn layer)提高了识别率（top5错误率降低1.2%）。 4，overlapping pooling（top5错误率降低0.3%）。 1.ReLU激活函数 2.LRN layer 3.Overlapping Pooling ① ② ③ AlexNet 4.Dropout ④ ⑤ ⑥ ⑦ ⑧ 1.1 ReLU(Rectified Linear Units) Nonlinearity ReLU具备引导适度稀疏的能力,不需要pre-trainingReLU不预训练和sigmoid预训练的效果差不多，甚至还更好。相比之下，ReLU的速度非常快，而且精确度更高。因此ReLU在深度网络中已逐渐取代sigmoid而成为主流。 1.2 Training on Multiple GPUs Parallelization scheme：puts half of the kernels (or neurons) on each GPU，the GPUs communicate only in certain layers.（for example, the kernels of layer 3 take input from all kernel maps in layer 2） This scheme reduces our top-1 and top-5 error rates by 1.7% and 1.2% 1.3 Local Response Normalization 从这个公式中可以看出，原来的激活a被加一个归一化权重（分母部分）生成了新的激活b，相当于在同一个位置（x，y），不同的map上的激活进行了平滑。 Response normalization reduces our top-1 and top-5 error rates by 1.4% and 1.2% 其中a是每一个神经元的激活，n是在同一个位置上临近的kernel map的数目，N是可kernel的总数目，k，alpha，beta都是预设的一些hyper-parameters，其中k=2，n=5，alpha = 1*e-4，beta = 0.75。 1.4 Overlapping pooling Kernel size: 3*3 Stride:2 This scheme reduces the top-1 and top-5 error rates by 0.4% and 0.3% Pooling 1. 一般池化（General Pooling） 我们定义池化窗口的大小为sizeX，即下图中红色正方形的边长，定义两个相邻池化窗 口的水平位移/竖直位移为stride。一般池化由于每一池化窗口都是不重复的，所以 sizeX=stride。 2. 重叠池化（OverlappingPooling） 重叠池化正如其名字所说的，相邻池化窗口之间会有重叠区域，此时sizeXstride。 作者使用了重叠池化，其他的设置都不变的情况下， top-1和top-5 的错误率分别 减少了0.4% 和0.3%。 3. 空金字塔池化（Spatial Pyramid Pooling） 空间金字塔池化可以把任何尺度的图像的卷积特征转化成相同维度，这不仅可以让CNN处理任意尺度的 图像，