第四章 无约束非线性问题的解法 工程优化课件 西电.pptVIP

共轭梯度法评注 1、共轭梯度法的优点是不必计算Hesse矩阵及其逆矩阵，程序简单，对大规模问题很有吸引力。对凸二次函数最多n步终止，而对一般函数为超线性收敛。 2、收敛速度依赖于一维有哪些信誉好的足球投注网站的精确性及Hesse矩阵的特征值的分布。 对一般函数的共轭梯度法注意问题 把前面的共轭梯度法推广到对于一般函数的共轭梯度法，需要注意的几点: 1. 步长 λk 不能够用前面的公式计算, 用其他的一维有哪些信誉好的足球投注网站方法来确定。 4. 一种方法是直接延续，一直利用我们的方法做下去，即到了n步仍然不停止，直到满足了停止条件。 3. 用这种方法求任意函数的极小点，一般来说，有限步迭代是达不到的。所以需要采取一些策略。 2. 凡用到矩阵A的地方， 需要用现行点处的海赛矩阵▽2f (x(k)) 5. 另一种方法是把n步作为一轮，每有哪些信誉好的足球投注网站一轮后，取一次最速下降方向，开始下一轮。这种策略称为“重新开始”或“重置”。 ——更常用 由于共轭梯度法中各个有哪些信誉好的足球投注网站方向的共轭性依赖于初始方向为负梯度方向，共轭方向只有n个，为了保持共轭方向性，所以每次迭代n步后，重新从一个负梯度方向开始。另外由于每次计算的λk 和βk不精确，所以有积累误差，它影响到算法的收敛性，通常为了避免积累误差，所以重新开始整个算法。 6. 对于一般函数时，前面的几种共轭梯度法计算βk得到的有哪些信誉好的足球投注网站方向是不同的，所以不是等价的。经验证对于二次凸规划，一般用FR方法，对于一般函数利用PPR方法。 7. 利用非精确一维有哪些信誉好的足球投注网站方法 （1）得到的方法有可能不是下降方法，当不是下降方向的时候，用最速下降方向重新开始。但是这样的重新开始可能使大量的，因此会降低计算效率。 （2）利用一个下降的原则去控制。 算法的收敛性分析: 2） 的任意极限点 都是 f (x)的最优解。 证明：见文中P.85定理 4. 10的证明 定理4.10 设 f (x)存在连续一阶偏导数，且函数为凸函数，且水平集 有界，则由共轭梯度法得到的点列 有如下性质 1） 为严格单调下降序列，且 存在； §4.5 拟Newton法（变尺度法） Newton法的最大优点是靠近极小点时收敛速度快，主要缺点是要计算Hesse矩阵及其逆矩阵，计算量大. ? 有没有可能既保持Newton法快速的优点，又不计算Hesse矩阵及其逆矩阵 ? 牛顿方向：p(k) =－ ? 2f(x(k)) -1g(k) ?近似为 p(k) =－ H(k) g(k) H(k)称为尺度矩阵，且迭代过程中H(k)是变化的，该算法为变尺度法; 只要H(k)正定，方向必是下降方向; 若变化H(k)不断近似于? 2f(x(k)) -1，则算法可以保持牛顿法的快速收敛的优势！ 思想： 1959年Davidon提出变尺度法，1963年经Fletcher和Powell改进，形成DFP法; 1970年Broyden等人提出更稳定的BFGS变尺度法。它被认为是无约束优化问题中最有效的方法之一。 优点： x(1), H1对称 ε0, k=1 d(k)=-Hk gk 一维有哪些信誉好的足球投注网站得λk x(k+1)=x(k)+ λkdk ||x(k+1)-x(k)|| ε? Hk+1=Hk+ΔHk Stop. x(k+1)----解 k=k+1 y N 算法框图： 构造 Hk的原则: 从形式上模仿，造一个方向： H(k)应满足的条件： (1) 满足拟Newton条件：Δxk = Hk+1Δgk (2) H(k)为正定矩阵，这样p(k)为下降方向； (3) 由H(k)出发计算H(k+1)应简便: (4) 算法具有二次收敛性： H(n+1)= ?2f(x*)－1 . H(k+1)＝H(k)＋ΔH(k) 记： Δg(k) = g(k+1)－g(k) , Δx(k) = x(k+1)－x(k) 校正矩阵 尺度矩阵H(k) 既近似?2f(xk)－1 ，计算又要方便！ p(k) =－Hk ?f(x(k)) DFP算法： Davidon(1959), Fletcher and Powell (1963)， 令 Δ Hk=αk u(k) (u(k))T+ βk v (k) (v (k))T αk, βk 是常数，u(k) , v (k)是n维列向量。这样定义的ΔHk是秩为2的对称矩阵, 所以称为秩2校正。 令 u(k)= Δxk , v (k)= Hk Δgk , 则由拟牛顿条件有 DFP算法： 1、上述算法具有三个性质： (1) 校正公式的分母总大于零, 校正公式总有意义； (2) H(k)都是正定的，所以每次迭代方向都是下降方向； (3) 对二次函数 f(x) = c+bTx+