深度学习理论基础.docxVIP

深度学习的理论基础

2.1深度学习原理

深度学习，相对机器学习中的“浅层学习”方法，深度学习所需的神经元网络层数更多[16]。传统的机器学习依靠人为提取样本单层特征，结果的特征缺乏可以进一步表达图像的构造;而深度学习可以直接自动的从训练网络里提取所需要的结构特征，自动提取的特征解决了人工提取特征存在主管偏差的因素。

对于一个层网络（,…），有输入是，得到输出是，即为：===…..==，如果和相等，即可认为经过网络处理后没有损失。设处理得到，再对处理得到，得到：和的相关不会超过和的相关。这表明网络不会增加数据，会损失数据。如果结果相等，可以得到经过每一个神经元都没有丢失，即所有都是的等价。

对于深度学习网络，首先我们有大量的原始数据，即大量的，在本课题中为大量的眼底图像图像。我们可以寻找一个层深度网络，调整网络结构后，输入等于输出，那么输入的结构即可以通过，…,来得到。

深度学习的核心方法为拥有多个层，…,的网络，即让层的输入为。通过这种方法，就可以获得输入信息结构特征。这就是深度学习的核心结构。

深度网络主要有3类，如图2.1所示。

图2.1深度神经网络分类结构

在本次课题中，主要用到前馈深度网络(FFDN)，其中卷积神经网络(CNN)在数字图像处理中有十分巨大的发展，将会运用到眼底图像的质量分类实验中。

2.2前馈深度网络

最传统有效的\o深度学习知识库\t/kai940325/article/details/_blank深度学习结构为深度前馈网络，即为前馈神经网络。设计一个理想函数。如一个深度前馈网络，可以将变换为输出。一个前馈网络定义了，通过迭代变量，获得与原始图像的参数误差最小的估算值。数据输入进入网络，接着经过的处理，最终输出，因此为“前馈”。这个过程中不存在将输出回代到原始数据或者改变函数的构造。循环神经网络就是存在这种回代到的构造的网络。深度卷积神经网络属于不存在循环的前馈神经网络．

前馈深度网络对于深度学习的研究人员来说是非常有意义的。各种金融应用的原理中都需要用到这种网络结构。深度卷积神经网络，同样属于前馈网络，特别适用于做图像处理和图像分类。至于前馈网络的进一步发展，循环神经网络，在其他方面有所建树。比如，语音处理特别适合循环神经网络[17]。

前馈神经网络能够形象地形容成各种神经元的结合。比如，我们可以有三个函数,,，我们可以将其级联，得到，这种级联特征进一步发展就成为深度网络。通过如此的函数表达，就是第一层神经元，就是第二层神经元，就是第三层神经元。函数总个数即网络总层数等于网络的深度。深度学习网络的末尾的神经元即为输出。在深度学习中，构造尽量接近无损失的完美的。原始图像存在各种干扰，原始数据将要在网络的各种层级被处理。输入都需要一个值。原始数据规定了结果对所有的目标，即为获得一个与误差最小的结果。前馈神经网络产生目标结果的方法十分重要，同时原始图像对单一神经元不会直接作用，而是作用于网络整体。

因为科学家们在研究生物学后获得灵感，所以前馈神经网络被这样称呼。所有的神经元都均可以被看作具体的带方向的值。从此可以发现在前馈神经网络中，向量中的参数就是神经元。这些神经元就是单个的变量。

变量通过处理其他变量的输入，输出变量结果。的确定也是在因为科学家们在研究生物学后获得灵感。神经网络这类算法用于得出某种结构。

2.2.1单层卷积神经网络

单层卷积神经网络的3个阶段如图2.2．

图2.2单层卷积神经网络的3个阶段

卷积阶段，使用了局部感受野（卷积核）和权值共享两种技巧来减少网络参数。

一.局部感受野。受到生物学的启发．有学者认为计算机图像处理和人类视觉的都是关注局部，对注意力范围之外的图像感受较弱。神经网络最佳的方法是对局部图像进行图像处理，然后在最后几层把之前处理过的局部结构叠加，获得了总体的结果。

二.权值共享。一般认为，同一幅图像的局部的结构与该图像其他部分可以通用。即在部分网络处理得到的特征能用全局图像上。

输入是由个大小的数组构成的三维数组．每个输入数组记为．而输出即为三维数组，由个大小的数组构成．连接输入特征图和输出特征图的权值记为，即可训练的局部感受野，卷积核的大小为．输出的三维数组为

(2.1)

式中:*为二维离散卷积运算符;是可训练的偏置参数．

非线性阶段，对网络处理后的结果变换，变换一般利用激活函数，以解决网络输出结果为线性，在某些情况无法解决．

非线性阶段将提取的特征作为输入，使用激活函数进行处理。常用的4种激活函数的公式为

sigmoid:

(2.2)

tanh:

(2.3)