神经网络算法简介.pdfVIP

神经网络算法简介 （电气10-7 班 李育林） 人工神经网络（artificial neural network，缩写ANN ），简称神经网络（neural network，缩写NN），是一种模仿生物神经网络的结构和功能的数学模型或计算 模型。神经网络由大量的人工神经元联结进行计算。大多数情况下人工神经网络 能在外界信息的基础上改变内部结构，是一种自适应系统。现代神经网络是一种 非线性统计性数据建模工具，常用来对输入和输出间复杂的关系进行建模，或用 来探索数据的模式。 神经网络是一种运算模型[1]，由大量的节点（或称“神经元”，或“单元”）和 之间相互联接构成。每个节点代表一种特定的输出函数，称为激励函数（activation function ）。每两个节点间的连接都代表一个对于通过该连接信号的加权值，称之 为权重（weight ），这相当于人工神经网络的记忆。网络的输出则依网络的连接 方式，权重值和激励函数的不同而不同。而网络自身通常都是对自然界某种算法 或者函数的逼近，也可能是对一种逻辑策略的表达。 神经元示意图：  a1~an 为输入向量的各个分量  w1~wn 为神经元各个突触的权值  b 为偏置  f 为传递函数，通常为非线性函数。以下默认为hardlim()  t 为神经元输出  数学表示  为权向量  为输入向量， 为 的转置  为偏置  为传递函数 可见，一个神经元的功能是求得输入向量与权向量的内积后，经一个非线性 传递函数得到一个标量结果。 单个神经元的作用：把一个n 维向量空间用一个超平面分割成两部分（称之 为判断边界），给定一个输入向量，神经元可以判断出这个向量位于超平面的哪 一边。 该超平面的方程: 权向量 偏置 超平面上的向量 单层神经元网络是最基本的神经元网络形式，由有限个神经元构成，所有神 经元的输入向量都是同一个向量。由于每一个神经元都会产生一个标量结果，所 以单层神经元的输出是一个向量，向量的维数等于神经元的数目。 示意图： 通常来说，一个人工神经元网络是由一个多层神经元结构组成，每一层神经 元拥有输入（它的输入是前一层神经元的输出）和输出，每一层（我们用符号记 做）Layer(i)是由Ni(Ni 代表在第i 层上的N)个网络神经元组成，每个Ni 上的网络 神经元把对应在Ni-1 上的神经元输出做为它的输入，我们把神经元和与之对应 的神经元之间的连线用生物学的名称，叫做神经轴突的突触，在数学模型中每个 突触有一个加权数值，我们称做权重，那么要计算第i 层上的某个神经元所得到 的势能等于每一个权重乘以第i-1 层上对应的神经元的输出，然后全体求和得到 了第i 层上的某个神经元所得到的势能，然后势能数值通过该神经元上的激励函 数（activation function，常是en:Sigmoid function 以控制输出大小，因为其可微 分且连续，方便en:Delta rule 处理。）求出该神经元的输出，注意的是该输出是 一个非线性的数值，也就是说通过激励函数求的数值根据极限值来判断是否要激 活该神经元，换句话说我们对一个神经元网络的输出是否线性不感兴趣。 基本结构： 一种常见的多层结构的前馈网络（Multilayer Feedforward Network ）由三部 分组成， 输入层（Input layer），众多神经元（Neuron）接受大量非线形输入信息。输 入的信息称为输入向量。 输出层（Output layer），信息在神经元链接中传输、分析、权衡，形成输出 结果。输出的信息称为输出向量。 隐藏层（Hidden layer），简称“隐层”，是输入层和输出层之间众多神经元和 链接组成的各个层面。隐层可以有多层，习惯上会用一层。隐层的节点（神经元） 数目不定，但数目越多神经网络的非线性越显著，从而神经网络的强健性 （robustness ）（控制系统在一定结构、大小等的参数摄动下，维持某些性能的特 性。）更显著。习惯上会选输入节点1.2 至1.5 倍的节点。 神经网络的类型已经演变出很多种，这种分层的结构也并不是对所有的神经 网络都适用。