大学生数学建模：神经网络(中).pptVIP

2.1 感知器 感知器由美国计算机科学家罗森布拉特（F.Roseblatt）于1957年提出 收敛定理 F.Roseblatt证明，如果两类模式是线性可分的（指存在一个超平面将它们分开），则算法一定收敛 感知器特别适用于简单的模式分类问题，也可用于基于模式分类的学习控制中 本讲中感知器特指单层感知器 感知器神经元模型 感知器功能解释 感知器的基本功能是将输入矢量转化成0或1的输出 根据输出值通过测试加权输入和值落在阈值函数的左右对输入数据进行分类 二维输入向量的情况若用图表示如下： 感知器的学习规则 学习规则：用来计算新的权值矩阵W及新的偏差B的算法 公式如下 如果第i个神经元的输出是正确的，即ai＝ti，那么与第i个神经元联接的权值wij和偏差值bi保持不变 如果第i个神经元的输出是0，但期望输出为1，即有ai＝0，而ti＝1，此时权值修正算法为：新的权值wij为旧的权值wij加上输人矢量pj；新的偏差bi为旧偏差bi加上1 如果第i个神经元的输出为1，但期望输出为0，即有ai＝1，而ti＝0，此时权值修正算法，新的权值wij等于旧的权值wij减去输入矢量pj；新的偏差bi为旧偏差bi减去1。 上述用来修正感知器权值的学习算法在MATLAB神经网络工具箱中已编成了子程序，成为一个名为1earnp.m的函数。 只要直接调用此函数，即可立即获得权值的修正量。此函数所需要的输入变量为：输入、输出矢量和目标矢量（P、A和T） 调用命令为： [dW，dB]＝learnp(P，A，T) 感知器的训练 网络训练：在输入矢量P的作用下，计算网络的实际输出A，并与相应的目标矢量T进行比较，检查A是否等于T，然后用比较后的误差量，根据学习规则进行权值和偏差的调整，重新计算网络在新权值作用下的输入，重复权值调整过程，直到网络的输出A等于目标矢量T或训练次数达到事先设置的最大值时训练结束。 感知器的局限性 由于感知器的激活函数采用的是阀值函数，输出矢量只能取0或1，所以只能用它来解决简单的分类问题 感知器仅能够线性地将输入矢量进行分类 当输入矢量中有一个数比其他数都大或小得很多时，可能导致较慢的收敛速度 感知器示例 创建newp---训练train---仿真sim 设计一单层输出感知器神经网络，进行二值化图像卡片上数字的奇偶分类。 2.2 线性神经网络 线性神经网络的主要用途是线性逼近一个函数式而进行模式联想。 它与感知器的主要不同之处 在于其神经元有一个线性激活函数，这允许输出可以是任意值，还可以实现线性逼近，而不仅仅只是像感知器中那样只能取0或1 它采用的是W-H学习法则，也称最小均方差(LMS)规则对权值进行训练 线性神经网络的WH学习规则 采用W-H学习规则可以用来训练一定网络的权值和偏差使之线性地逼近一个函数式而进行模式联想(Pattern Association) 定义一个线性网络的输出误差函数 目的是通过调节权矢量，使E(W，B)达到最小值所以在给定E(W，B)后，利用W-H学习规则修正权矢量和偏差矢量，使E(W，B)从误差空间的某一点开始，沿着E(W，B)的斜面向下滑行 权值矩阵修正公式为 其中η为学习速率。在一般的实际运用中，实践表明，η通常取一接近1的数，或取值为： 线性神经网络的局限性 线性网络还有另一个潜在的困难，当学习速率取得较大时，可导致训练过程的不稳定 采用W-H规则训练自适应线性元件使其能够得以收敛的必要条件是被训练的输入矢量必须是线性独立的，且应适当地选择学习速率以防止产生振荡现象 线性神经网络示例 创建newlin---训练train或adapt（自适应调整权值和阈值） 或创建newlind---仿真sim 例：实现自适应预测的线性网络－滤波器（目的是从输入信号的前两个时刻的值预测当前时刻的值）。设输入信号为一随机序列，试编写Matlab程序，画出上述自适应滤波器的输入输出波形。 分析：注意网络是按时间顺序输入的，为串行方式。 程序见xianxing_yuce 预测是神经网络的一个非常重要的功能， 应用非常广泛。 2.3 BP神经网络 即名为反向传播网络(Back-Propagation Network)是将W-H学习规则一般化，对非线性可微分函数进行权值训练的多层网络。 权值的调整采用反向传播(Back-propagation）的学习算法。 它是一种多层前向反馈神经网络，其神经元的变换函数是S型函数。 输出量为0到1之间的连续量，它可实现从输入到输出的任意的非线性映射。 1）BP的主要应用方面： 函数逼近：用输入矢量和相应的输出矢量训练一个网络逼近一个函数 模式识别和分类：用一个特定的输出矢量将它与输入