最优化理论与应用-9.pdfVIP

最优化理论与应用最优化理论与应用 第第9讲讲-大规模无大规模无约束优化束优化 电子科技大学 自动化工程学院 彭晓明彭晓明 1 内容提要要 不精确牛顿法 线有哪些信誉好的足球投注网站牛顿-共轭梯度法 信任域牛顿-共轭梯度 有有限内存内存的拟牛拟牛顿法 部分可分离函数问题部分可分离函数问题 2 不精确牛顿法 线有哪些信誉好的足球投注网站牛顿-共轭梯度法 信任域牛顿-共轭梯度 有有限内存内存的拟牛拟牛顿法 部分可分离函数问题部分可分离函数问题 3 不精确牛顿顿法 回忆一下在牛顿法中求解牛顿方 向pkN 的方程式 所谓所谓不精确牛顿法不精确牛顿法(inexact(inexact Newton Method) 的目的是求解pkkN 的近似(不精确)值,而避免对 HHessiian矩阵进行分解矩阵进行分解 4 不精确牛顿顿法 本课讲述使用共轭梯度法((CG))的 不精确牛顿法 回忆一下共轭梯度梯度法中中的残差差 (residual)(residual) 不精确不精确 牛顿方向 5 不精确牛顿顿法 当下面条件满足时结束CG的迭代 其中其中，0η 1 k η 被称为是被称为是强迫序列强迫序列(f(forciing k sequesequence)nce) 6 不精确牛顿顿法 当 时，不精 确牛顿法的收敛速度是超线性的 当当 时时，不精确精确 牛顿法的收敛速度是二次的牛顿法的收敛速度是二次的 学习两种方法学习两种方法 线有哪些信誉好的足球投注网站牛顿-共轭梯度法 信任域牛顿-共轭梯度法 7 不精确牛顿法 线有哪些信誉好的足球投注网站牛顿-共轭梯度法 信任域牛顿-共轭梯度 有有限内存内存的拟牛拟牛顿法 部分可分离函数问题部分可分离函数问题 8 线线有哪些信誉好的足球投注网站牛顿顿-共轭梯度法 回忆一下线性共轭梯度法的实用 形式