使用导数的最优化方法.pptVIP

几何意义第30页，共74页，星期日，2025年，2月5日几何意义第31页，共74页，星期日，2025年，2月5日第32页，共74页，星期日，2025年，2月5日第33页，共74页，星期日，2025年，2月5日第34页，共74页，星期日，2025年，2月5日第35页，共74页，星期日，2025年，2月5日第36页，共74页，星期日，2025年，2月5日推论：第37页，共74页，星期日，2025年，2月5日共轭方向法第38页，共74页，星期日，2025年，2月5日对于上述正交方向法，它是下降算法吗？不难得到：故正交方向法，它是下降算法。第39页，共74页，星期日，2025年，2月5日可由一组线性无关向量组，类似于schmidt正交化过程，第40页，共74页，星期日，2025年，2月5日第41页，共74页，星期日，2025年，2月5日§10.3共轭梯度法10.3.2共轭梯度法共轭梯度法最初由Hesteness和Stiefel于1952年为求解线性方程组而提出.后来,人们把这种方法用于求解无约束最优化问题,使之成为一种重要的最优化方法.下面,重点介绍Fletcher-Reeves共轭梯度法,简称FR法.共轭梯度法的基本思想是把共轭性与最速下降方法相结合,利用已知点处的梯度构造一组共轭方向,并沿这组方向进行有哪些信誉好的足球投注网站,求出目标函数的极小点.根据共轭方向的基本性质,这种方法具有二次终止性.我们先讨论对于二次凸函数的共轭梯度法,然后再把这种方法推广到极小化一般函数的情形.第42页，共74页，星期日，2025年，2月5日10.3.2.共轭梯度法如何选取一组共轭方向？以下分析算法的具体步骤。我们先讨论对于二次凸函数的共轭梯度法,然后再把这种方法推广到极小化一般函数的情形第43页，共74页，星期日，2025年，2月5日初始有哪些信誉好的足球投注网站方向为最速下降方向第44页，共74页，星期日，2025年，2月5日第45页，共74页，星期日，2025年，2月5日第46页，共74页，星期日，2025年，2月5日第47页，共74页，星期日，2025年，2月5日常用两个公式:著名的FR和PPR公式第48页，共74页，星期日，2025年，2月5日求解二次凸规划的FR共轭梯度法求解二次凸规划的FR共轭梯度法迭代多少次才可以达到最优解？第49页，共74页，星期日，2025年，2月5日第50页，共74页，星期日，2025年，2月5日第51页，共74页，星期日，2025年，2月5日第52页，共74页，星期日，2025年，2月5日第1页，共74页，星期日，2025年，2月5日一.无约束最优化问题无约束非线性规划问题的求解方法分为解析法和直接法两类。解析法需要计算函数的梯度，利用函数的解析性质构造迭代公式使之收敛到最优解。本节介绍最速下降法、共轭梯度法、牛顿法、变尺度法等解析方法直接法仅通过比较目标函数值的大小来移动迭代点。下一章主要介绍模式有哪些信誉好的足球投注网站法等直接方法。第2页，共74页，星期日，2025年，2月5日无约束非线性规划问题的求解方法分为解析法和直接法两类。一般来说，无约束非线性规划问题的求解是通过一系列一维有哪些信誉好的足球投注网站来实现。因此，如何选择有哪些信誉好的足球投注网站方向是解无约束非线性规划问题的核心问题，有哪些信誉好的足球投注网站方向的不同选择，形成不同的求解方法。本章主要介绍解析法;另一类只用到目标函数值,不必计算导数,通常称为直接方法,放在第11章讨论.第3页，共74页，星期日，2025年，2月5日本章考虑如下的下降算法：主要介绍最速下降法、牛顿法，共轭梯度法，拟牛顿法等第4页，共74页，星期日，2025年，2月5日10.1最速下降法10.1.1最速下降方向考虑无约束问题(6.1.2)其中函数具有一阶连续偏导数.人们在处理这类问题时,总希望从某一点出发,选择一个目标函数值下降最快的方向,以利于尽快达到极小点.正是基于这样一种愿望,早在1847年法国著名数学家Cauchy提出了最速下降法.后来,Curry等人作了进一步的研究.现在最速下降法已经成为众所周知的一种最基本的算法,它对其他算法的研究也很有启发作用,因此在最优化方法中占有重要地位.下面我们先来讨论怎样选择最速下降方向.第5页，共74页，星期日，2025年，2月5日人们在处理这类问题时,总希望从某一点出发,选择一个目标函数值下降最快的方向,以利于尽快达到极小点.正是基于这样一种愿