17第6章神经网络Part3.pptVIP

BP网络和BP算法

v线性不可分问题：感知器模型的局限

v三层感知器

v多层网络的表达能力

vBP网络：多层感知器

vBP算法：反向传播算法的思想和流程，训练

协议，隐含层的作用，实用技术

反向传播算法（BP算法）

v敏感度的反向传播

反向传播算法（BP算法）

vBP算法流程：

Step1：选定权系数初值

Step2：重复下述过程直至收敛(对各个样本依

次计算)

vStep2.1前馈:从前向后各层计算各单元xj

1

netjijxixjfnetj

netj

i1e

反向传播算法（BP算法）

vStep2.2:对输出层计算j

jyjxjxj1xj

vStep2.3:从后向前计算各隐层j

jxj1xjjkk

k

vStep2.4:计算并保存各个权值修正量

ijjxi

反向传播算法（BP算法）

vStep2.5:修正权值

ijt1ijtij

以上算法是对每个样本作权值修正（单样本）

也可以对各个样本计算j后求和，按照总误差修

正权值（批处理）

BP算法的训练协议

v训练协议(学习协议)：神经网络训练过程中

如何根据训练样本调整权值

v三种最有用的训练协议：

随机训练(stochastictraining):模式随机从训

练集中选取，每输入一个模式，权值就更新一次

成批训练(batchtraining):所有模式一次全部

送入网络，然后才进行一次权值更新

在线训练(onlinetraining):每种模式只提供一

次，每提供一种模式，权值更新一次

BP算法的训练协议

v随机反向传播

BP算法的训练协议

v成批反向传播

累计更新

BP算法的训练协议

v在线反向传播

隐含层的作用

v隐含层的作用：学习到一组非线性映射，将样本映

射到线性可分的空间

v非线性弯曲能力，本质上是一种非线性的特征映射

v异或问题的例子：

隐含层的作用

v隐含层的非线性弯曲能力

总误差

各个模式上的误差

1-60个回合的非线性映射和

误差的变化

BP算法的优缺点

v优点：

理论基础牢固

推导过程严谨

物理概念清晰

通用性好

所以，它是目前用来训练多层前向网络

（BP网络）较好的算法。

BP算法的优缺点

v缺点：

BP算法只能收敛于局部最优解，不能保证收敛

于全局最优解；

当隐层元的数量足够多时，网络对训练样本的识

别率很高，但对测试样本的识别率有可能很差，

即网络的推广能力有可能较差。

BP算法的实用技术

v输出函数（激活函数）v隐单元数

v输入信号尺度变换v权值初始化

vc类问题的目标输出v学习率

v带噪声的训练法v冲量项

v人工“制造”数据v权值衰减

BP算法的实用技术

v输出函数（激活函数）应具备的性质

非线性：非线性特征映射，否则三层网络将等同

于两层网络的计算能力

饱和性：存在最大和最小值，即输出有上下界

连续性：在整个自变量范围内都有定义

光滑性：在整个自变量范围内一阶导数存在

最好有单调性：导数在自变量范围内不变号，避

免引入不必