改进的有限内存BFGS算法的二次终止性质.pdfVIP

第28卷 第4期 宁夏大学学报(自然科学版) 2007年12月 Vo1．28 No．4 Journal of Ningxia University(Natural Science Edition) Dec．2007 文章编号：O253—2328(2OO7)04—0319—03 改进的有限内存BFGS算法的二次终止性质 杨月婷 ，刘 君 (1．西安交通大学 经济与金融学院，陕西 西安 710061； 2．北华大学 数学学院，吉林 吉林 132013) 摘 要：二次终止性质是一般拟牛顿法的一个重要性质，但为求解大规模优化问题而设计的有限内存拟牛顿法却 不能都保持这种良好性质．为此，针对满足修正拟牛顿方程的有限内存BFGS方法加以研究，证明所提出的方法满 足二次终止性质．这对于完善有限内存拟牛顿法的理论体系具有重要作用． 关键词：拟牛顿法；二次终止性质；有限内存 分类号：(中图)O221．2 (2000 MR)90C30；65K05 文献标志码：A 拟牛顿法是求解中小规模无约束最优化问题最 L-MBFGS方法具有二次终止性质，从而为说明算法 有效的方法之一．将其与有限内存技术相结合，得到 的稳定性提供新的依据． 的有限内存拟牛顿法又是求解大规模优化问题的一 种重要手段，因此成为当今非线性优化领域中一个 1 校正公式和算法 新的研究热点． 对 ：0，1，2，…，设 一I一 ， 一1+ L 考虑大规模无约束优化问题mSn厂(z)，其中目标 ， 一 z∈ Rn 函数，(z)二次连续可微．与通常的拟牛顿法一样，有 痢是一个预先指定的正整数，m—min{忌，痢}．一般 限内存BFGSE (Broyden-Fletcher~Goldfarb-Shanno)在 地，满足拟牛顿方程(1)的L-MBFGS校正公式可以 对迭代矩阵的修正过程中仅仅利用了函数的一阶导数 表示为 一 1 一1 值信息而忽略了函数值信息．最近，文献E2]提出了一 H 一(FI Vi) Hl∞(Ⅱ )+ 类新的拟牛顿方程 ． f H 夕 一 ，夕 一Y +半 ， (1) “ f= —m，～ —H一1(飘 ) 蓑(一YI vj)·(2) z ，一抖一1 式中S 一X +l—X ，Y 一g +1一g 分别表示迭代点 根据上式可以进一步给出该有限内存校正公式 的改变量和梯度改变量， 一6(^一^+ )+3( + 的紧表征．为此先记 g川)Ts ，“∈R 满足s “≠0．^是目标函数在X S ===[s卜 ，…，s卜1]，Y 一[ 卜 ，…， 卜1]． 点的函数值．理论分析和数值试验表明，当“一Y 时 定理1 设Hl∞是对称正定矩阵且m个向量 相应的拟牛顿法更稳定、效率更高．该拟牛顿方程的 对{s ，Y }k -- 一 满足sty 0，则由式(2)确定的校正 另一个明显