多层神经网络剖析.pptx

第六章 多层神经网络;6.1　引 言;生物神经元示意图;神经元在结构上由细胞体、树突、轴突和突触四部分组成。 1. 细胞体 (cell body) 神经元的主体，由细胞核、细胞质和细胞膜3 部分组成。细胞体的外部是 细胞膜，将膜内外细胞液分开。由于细胞膜对细胞液中的不同离子具有不 同的通透性，这使得膜内外存在着离子浓度差，从而出现内负外正的静息 电位。这种电位差称为膜电位。 2. 树突 (dendrite) 从细胞体向外延伸出许多突起的神经纤维。负责接收来自其他神经元的输 入信号，相当于细胞体的输入端(input)。 3. 轴突 (axon) 由细胞体伸出的最长的一条突起称为轴突。轴突比树突长而细。轴突也叫 神经纤维，末端处有很多细的分支称为神经末梢，每一条神经末梢可以向 四面八方传出信号，相当于细胞体的输出端(output)。 4. 突触 (synapse) 一个神经元通过其轴突的神经末梢和和另一个神经元的细胞体或树突进 行通信连接，称为突触。;人工神经网络;神经网络的发展;基本功能;应用领域; 神经元模型 　a. 突触权值 　　　b .加法器—净激活 　　　c. 激活函数 ;6.2　前馈运算和分类;;常用的激活函数;;最简单的神经网络-单层感知器;单层感知器仅对线性问题具有分类能力;逻辑“与” 的真值表及二维样本分类图;逻辑“或” 的真值表及二维样本分类图;;“异或” 的真值表及二维样本分类图;解决异或问题的多层感知器;6.2.1 一般的前馈运算;虽然一个两层网络分类器只能实现一个线性判决边界，如果给出足够数量的隐单元，三层，四层及更多层网络就可以实现任意的判决边界;6.3　反向传播算法（BP算法）;神经元j的输出;;;对于隐层利用式（11）可得;;;;随机反传算法;目前我们只考虑了训练集中单个模式的的误差，但实际上我们要考虑一个定义在训练集里所以模式的误差。我们可以吧这个总训练误差写成n个单独模式误差的总和;成批反传算法;学习曲线显示的是误差准则函数作为训练总量的一个函数。每个模式的“验证误差”和“测试误差”实际上总是比“训练误差”大。在有些协议中，训练在验证集误差最小的时候停止。（比如图中靠近5的位置）;6.3.4 误差曲面;用上面的三层非线性网络来解决一个一维线性不可分问题。可以发现误差曲面总比上图的稍高一些，因为无论怎么分都会导致一个模式被错误分类。从曲面上可以看到两种形式的极小误差解；分别对应-2x-1和1x2,其中一个模式被误分。 通过这些例子能清楚的显示出权值，判决边界以及误差之间的对应关系。可以发现当存在一组权对应几乎相同的判决边界时就会出现平坦区。; 6.4.3 较大型的网络 高对于一个具有很多权值，解决较复杂的高维分类问题的网络，随单个权值的变化，误差的变化将十分缓慢。 尽管低维空间里局部极小值非常多，高维空间里局部极小值却不同：在学习过程中，高维空间可以给系统提供更多的方式（维数，自由度）以“避开”障碍或局部极大值。权值个数越过剩，网络越不可能陷入局部极小值。;6.5 反向传播作为特征映射;;;;6.5.1 隐含层的内部表示-权值;;6.6 反向传播贝叶斯理论及概率;;;;6.10 其他网络和训练算法;;;;正则化RBF网络的学习算法;;;;;6.10.3 匹配滤波器;;6.10.4 卷积神经网络;卷积;;CNN的网络结构;稀疏连接;;权值共享;CNN的网络结构示意图;CNN的网络结构;CNN实例;;卷积的梯度计算;;;降采样层的梯度计算;;数据集的大小和分块;数据预处理;网络权值初始化;6.10.5 递归神经网络;;输入输出递归网络通用模型;;Elman网络模型;递归多层感知器模型;;历时反向传播学习算法;逐时段训练的BPTT算法;;小结;;卷积神经网络;RNN神经网络