数字图像处理第9章模板匹配与模式识别技术.ppt

　　在向后传播阶段，计算实际输出Op与相应的理想输出Yp的差，按极小化误差的方式调整权矩阵。网络关于整个样本集的误差测度为 E＝∑Ep (9.4.3)其中，为网络关于第p个样本的误差测度。 　　为避免标准BP网络学习算法收敛速度慢、可能收敛到局部极小点的问题，可采用改进的算法，即将附加动量和自适应学习速率的反向传播训练法用于BP算法，其相应连接权的校正如下。　　1)引入动量项　　修正W(k)时，按如下的改进算法：W(k＋1)＝W(k)＋a［(1－h)D(k)＋hD(k－1) (9.4.4) 其中，W(k)既可表示单个的连接权系数，也可表示连接权向量；　　 为k时刻的负梯度；a为学习速率，a0；h为动量因子，0≤h1。加入动量项可以降低网络对误差曲面局部调节的敏感性，有效地抑制网络陷于局部极小。 　　2)自适应学习速率　　学习速率的自适应是通过观察最后两个梯度的符号来完成的。只要测得在符号上不改变，就说明a还有增大的余地，因此相应的学习速率就增大一倍，能加快收敛过程；反之，学习速率就减小一半。自适应学习速率算法如下： W(k＋1)＝W(k)＋a(k)D(k) (9.4.5)其中， a(k)＝2la(k－1) l＝sgn［D(k)D(k－1)］ 当引入动量项时，上述算法可修正为W(k＋1)＝W(k)＋a(k)［(1－h)D(k)＋hD(k－1)］ (9.4.6) 对于图9.4.4来说，隐含层的输出为 a1＝lg sig(w1*p1＋b1) (9.4.7)其中，lg sig( )是Sigmoid型函数的对数式。输出层的输出为 a2＝w2*a1＋b2 (9.4.8)   根据经验，在一般情况下，当均方根误差降至0.01以下就可以停止训练了，这时称该网络已收敛。于是各连接的权值就固定下来，并可测试该网络的总体性能，然后投入实际使用：采用训练好的网络对图像进行分类。 9.4.5 神经网络的性能　　人脑具有令人惊讶的模式识别能力，人工神经网络最终也很可能具有这种能力。基于神经网络的模式识别法相对于其他方法的优势在于：　　(1)它要求对问题的了解较少；　　(2)它可以实现特征空间较复杂的划分；　　(3)它宜用高速并行处理系统实现。 　　神经网络分类与基于统计方法的分类器相比，其弱点在于：　　(1)需要更多的训练数据；　　(2)在通常的计算机上实现模拟运行速度很慢；　　(3)无法透彻理解所使用的决策过程(例如无法得到特征空间中的决策面)。 　　对于任何分类器，无论它是怎样实现的，其功能不过是将特征空间划分为与每类对应的不同区域，并依此对各对象分类。而分类器的性能最终既受到特征空间中不同类别的相互重叠的限制，又受到获取有代表性的训练样本集、由样本集建立最优的分类平面以及设计分类器的程序等实际困难所限。因此，只有当神经网络能比统计方法更好地划分特征空间时，它的性能才有可能比基于统计方法的分类器更好。 9.4.6 设计中应考虑的问题　　神经网络的大小对性能和计算量来说都是一个重要的因素。已有结果表明含有一级隐含层的网络已经足够近似任何连续函数，含有两级隐含层则可以近似任意函数。输入层神经元的数量通常由应用来决定，在反向传播中，它等于特征向量的维数；输出层神经元的数量则通常与类别的数量相同；中间的隐含层数和每一隐含层的神经元数目则是在设计时需要选择的，常采用Kolmogorov定理确定隐含层神经元的个数。在大多数情况下，每一隐含层的神经元的数量比输入层的少得多。 通常为了减少过度训练的危险，也需要将这个数量尽量减少。但另一方面，隐含层中神经元太少会使得网络无法收敛到一个对复杂特征空间适当的划分。当一个网络收敛后，一般可以减少神经元的数量再进行训练，并且往往会得到更好的结果。 　　与统计方法的分类器一样，训练样本必须对整个特征空间的总体分布具有代表性，使得网络能对每一类建立恰当的概率分布模型。神经网络应避免过度训练，大量训练的结果往往使得决策面极其复杂，尤其是当节点数目和连接数目很大时。如果训练集不大，则很可能会导致网络只“记住”了特定的训练样本，而不是调整到能正确划分整个特征空间，这样网络性能会很差。当测试的错误率停止减小并开始上升时，表明网络过度训练开始了。过度训练可以用一个较大的训练集和一个截然不同的测试集来避免。 　　另外，训练样本次序的随机性也很重要。网络也应该对训练集这一整体建立概念，而不是依次对单个类的样本。顺序地输入各类样本将会导致收敛很慢，并且使分类不可靠。　　对随机的样本进行训练可以产生一种噪声干扰，它可以帮助网络跳出局部极值的陷阱。有时还人为地在训练样本中增加噪声干扰，实验证明它有助