基于Levenberg-Marquardt算法的BP神经网络分类器.pdf

文章编号:1671-8860(2005)07-0000-00 文献标志码:A 基于 Levenberg-Marquardt 算法的 BP 神经网络分类器 1,2 2 王建梅 覃文忠 (1 武汉大学遥感信息学院,武汉市珞喻路 129号,430079) (2 同济大学测量与国土信息工程系,上海市四平路 1239号,200092) 摘 要:以TM 图像为例,讨论了基于 Levenberg- Marquardt(L- M)算法的 BP神经网络分类器及其在遥感图 像分类中的应用。L-M 算法是梯度下降法与高斯-牛顿法的结合,由于利用了近似的二阶导数信息,L-M 算 法比梯度法快。就训练次数及准确度而言,L- M 算法明显优于变学习率法的 BP 算法。在遥感图像分类中, 应首先采用 L- M 算法。 关键词:遥感图像分类;BP神经网络;Levenberg-Marquardt 算法 中图法分类号: 纵观过去的二三十年,遥感应用的水平常滞 对遥感图像进行分类的速度很慢太慢,针对这一 后于空间遥感技术的发展,突出表现在:① 卫星 不足,人们提出了许多改进方案。 发回的遥感数据未能得到充分利用,据统计,目前 BP算法改进主要有以下两个途径:① 是启 卫星发回的遥感数据得到应用的不到其总量的 发式算法,包括加入动量项(momentum)、可变学 10% ;② 对遥感信息认识的不足和对遥感专题信 习速率(vary-learning-rate)、回弹算法(Resilient) 息提取水平的滞后,造成了遥感信息资源的巨大 等,其实质都是通过自适应调正学习率,缩短学习 浪费及其应用价值的降低[1] 。分析其原因,主要 时间,并引入阻尼项和阻尼因子,减少学习的敏感 在于缺少完善的遥感图像分类的方法和模型,难 性,从而改善收敛性。为了改进 BP 算法的局部 以从遥感图像中直接获得大量高精度的空间信 极值,可以引入全局算法如模拟退火[6] 、遗传算 息,因此,提高遥感图像分类精度是目前遥感应用 法[7] 等,但计算成本高,在遥感图像分类中实用性 的迫切要求。 不强;② 数值优化算法,包括牛顿法(Newton)、 人工神经网络是当前科学技术发展中的一门 共轭梯度法 (Conjugate Gradient)、Levenberg- 前沿学科,在其理论和方法指导下,遥感信息处理 Marquardt 算法等,由于神经网络减小均方差本 和分析模型的研究也取得了一定的进展,分类精 身就是一个数值优化问题,因此该类方法非常成 度也有了明显提高[2～ 4] 。人工神经网络是由大量 熟。其中 L-M 算法是梯度下降法与高斯-牛顿法 简单的信息处理单元(神经元)广泛连接而成的复 的结合,其训练次数及准确度明显优于变学习率 杂网络,用来模拟人脑神经系统的结构和功能,自 法,因此本文尝试将其用于遥感图像分类。 从 McClellanGE[5] 等人于1989年首次将其应用 于遥感图像分类以来,获得重要发展。遥感图像 1 Levenberg-Marquardt法 分类中应用最广泛的首推 BP 神经网络,约占 80% 以上,而在 BP 网络中,又以单隐层 BP 网络 原始的 BP 算法是梯度下降法,参数沿着与 为最多。理论上已经证明,隐层采用 Sigmoid 激