【啃书吧：深度学习与MindSpore实践】第三章3.4用MindSpore实现简单神经网络（上）.pdfVIP

【啃书吧：深度学习与MindSpore实践】第三章3.4⽤

MindSpore实现简单神经⽹络（上）

初读：2021年1⽉5⽇⾄2021年1⽉14⽇

啃书进度会在⽬录中标出来。本次⽬标是完成第三章3.4节⽤MindSpore实现简单神经⽹络（P31-P34）

终于到了实战的部分了。先是⼀段LeNet的简介：

LeNet主要⽤来进⾏⼿写字符的识别与分类，并在美国的银⾏中投⼊使⽤，LeNet的确⽴了卷积神经⽹络（CNN）的结构，现在神经⽹络中

的许多内容在LeNet的⽹络结构中都能看到，例如卷积层、池化（Pooling）层和ReLU层。虽然LeNet早在20世纪90年代就已经提出，但

由于当时缺乏⼤规模的训练数据，计算机硬件的性能也较低，LeNet神经⽹络在处理时效果并不理想。LeNet⽹络结构⽐较简单，刚好适合

神经⽹络的⼊门学习。

3.4.1各层参数说明

LeNet-5是早期卷积神经⽹络中最有代表性的实验系统之⼀，它共有7层（不包含输⼊层），每层都包含可训练参数和多个特征图

（FeatureMap），每个特征图通过⼀种卷积滤波器提取输⼊的⼀种特征，每个特征图有多个神经元。

1.Input层——输⼊层

输⼊图⽚归⼀化为32×32。

传统上输⼊层不视为⽹络层次结构之⼀。

2.C1层——卷积层

（1）输⼊图⽚⼤⼩：32×32

（2）卷积核⼤⼩：5×5

（3）卷积核种类：6

对应的是6个不同的权重值矩阵

（4）输出特征图⼤⼩：28×28

卷积核⼀次扫描的区域是连续55个像素的区域，因此扫描⼀幅32×32的图⽚，横向移动28次，纵向也需要移动28次。

（5）神经元数量：28×28×6=4,704

卷积核每移动⼀次，图像的对应像素点与卷积积做⼀次点积，⼀个卷积核做28×28次，6个卷积核就乘上6。

（6）可训练参数：(5×5+1)6=156

⼀个卷积核是5×5的权重矩阵，加上⼀个偏置，6个卷积核就乘上。

（7）连接数：(5×5+1)×6×28×28=122,304

⼀个连接数可以看作⼀块图像对应特征图⼀个元素的线性变换。神经元（对应的是线性变换结果矩阵）的数量是28×28×6个，其中每个

元素都是5×5的像素区域与权重的矩阵点积再加1个偏置得到的，所以连接数就是这么多。

3.S2层——池化层（降采样层）

（1）输⼊⼤⼩：28×28

（2）采样区域：2×2

（3）采样⽅式：4个输⼊相加

2×2采样区域的元素相加得到⼀个标量值。这个值乘以⼀个权重参数，再加上⼀个偏置（可训练参数2的由来），再做⼀次simgmoid映

射，得到⼀个采样值。

（4）采样种类：6

对应于输出的6个特征图

（5）输出特征图⼤⼩：14×14（由28/2计算得出）

与C1层卷积不同之处在于，C1的卷积核没动步长是⼀个像素，卷积区域之间是要重叠的；⽽池化层采样每次向前滑动⼀个采样区间的宽

度，所以采样区间不会重叠。

（6）神经元数量：14×14×6=1,176

（7）可训练参数：2×6=12

每⼀个采样区间对应⼀个权重和⼀个偏置

（8）连接数：(2×2+1)×6×14×14=5,880

这个地⽅百思不得其解。按说采样时已经对4个元素做了加法，好像有2×6×14×14个连接就可以啊。

或许是把输⼊特征图的4个元素对应输出特征图⼀个元素的过程也要代⼊⼀个完整的线性⽅程，也就是2×2的采样区域中每个元素与权重

相乘，再加上偏置。好像只能这样理解了。

S2中每个特征图的⼤⼩是C1中特征图⼤⼩的1/4

4.C3层——卷积层

（1）输⼊：S2中所有6个或者⼏个特征图组合，具体的输⼊结合⽅式：

第⼀组由6个卷积核作⽤于3个相邻的S2层特征图得到

第⼆组由6个卷积核作⽤于4个相邻的S2层特征图得到

第三组由3个卷积核作⽤于4个不相邻的S2层特征图得到

第四组由1个卷积核作⽤于S2层全部的特征图得到

（2）卷积核⼤⼩：5×5

（3）卷积核种类：16

将（1）当中所有的卷积核数量加起来：6+6+3+1=16

（4）输出特征图⼤⼩：10×10（C3中的每个特征图是连接到S2中的所有6个特征，表⽰本层的特征图是上⼀层提取到的特征图的不同组

合）。

（5）可训练参数：6×(3×5×5+1)+6×(4×5×5+1)+3×(4×5×5+1)+(6×5×5+1)=1,516

数字分别对应（1）中每组卷积核的数量、对应处理的S2层特征图数量、卷积积的⼤⼩（5×5）、偏置，不难理解。

（6）连接数：10×10×1