《Deepamp;nbsp;Learningamp;nbsp;教程中文版》.pdfVIP

13-3-22 - U fldl 神经网络 From Ufldl 举一个监督学习的例子，假设我们有训练样本集 ，那么神经网络算法能够提供一种 复杂且非线性的假设模型 ，它具有参数 ，可以以此参数来拟合我们的数据。 为了描述神经网络，我们先从最简单的神经网络讲起，这个神经网络仅由一个 “神经元”构成，以 下即是这个 “神经元”的图示： 这个 “神经元”是一个以 及截距 为输入值的运算单元，其输出为 ，其中函数 被称为 “激活函数”。 在本教程中，我们选用sigmoid函数作为激活函数 可以看出，这个单一 “神经元”的输入－输出映射关系其实就是一个逻辑回归 （logistic regression）。 虽然本系列教程采用sigmoid函数，但你也可以选择双曲正切函数 （tanh）： 以下分别是sigmoid及tanh的函数图像 deep learn /w iki/index.php/ 1/5 13-3-22 - U fldl 函数是sigmoid函数的一种变体，它的取值范围为 ，而不是sigmoid函数的 。 注意，与其它地方 （包括OpenClassroom公开课以及斯坦福大学CS229课程）不同的是，这里我们不 再令 。取而代之，我们用单独的参数 来表示截距。 最后要说明的是，有一个等式我们以后会经常用到：如果选择 ，也 就是sigmoid函数，那么它的导数就是 （如果选择tanh函数，那它的 导数就是 ，你可以根据sigmoid （或tanh）函数的定义自行推导这个等 式。 神经网络模型 所谓神经网络就是将许多个单一 “神经元”联结在一起，这样，一个 “神经元”的输出就可以是另 一个 “神经元”的输入。例如，下图就是一个简单的神经网络： deep learn /w iki/index.php/ 2/5 - U fldl 我们使用圆圈来表示神经网络的输入，标上 “ ”的圆圈被称为偏置节点，也就是截距项。神经 网络最左边的一层叫做输入层，最右的一层叫做输出层 （本例中，输出层只有一个节点）。中间 所有节点组成的一层叫做隐藏层，因为我们不能在训练样本集中观测到它们的值。同时可以看 到，以上神经网络的例子中有3个输入单元 （偏置单元不计在内），3个隐藏单元及一个输出单 元。 我们用 来表示网络的层数，本例中 ，我们将第 层记为 ，于是 是输入层， 输出层是 。本例神经网络有参数 ，其中 第 层 第 单元与第 层第 单元之间的联接参数 （其实就是连接线上的权重，注意标号顺 序）， 是第 层第 单元的偏置项。因此在本例中， ， 。注意，没有其他单元连向偏置单元 (即偏置单元没有输入)，因为它们总是输出 。同时，我们用 表示第 层的节点数 （偏置单元不计在内）。 我们用 表示第 层第 单元的激活值 （输出值）。当 时， ，也就是第 个输入值 （输入值的第