Lecture5-6非线性规划及Matlab实现剖析.ppt

华南理工大学 模具研究室 mesjzhang@scut.edu.cn;非线性规划基本概念及分类;非线性规划;梯度(gradient);Hessian矩阵(Hessian Matrix);方向导数(direction derivative);下降方向(descent direction);正定矩阵;函数Taylor展开;相关数学基础知识参看： Lecture 4 Mathematical Preliminaries.pdf;无约束非线性规划最优性条件;无约束问题的最优性条件;例1：利用极值条件解优化问题;; 算法及相关概念;2.下降迭代算法步骤;模型算法;3.终止条件;一般而言，线性收敛速度是比较慢的，超线性收敛速度相对较快，而二阶收敛速度则相当快。如果一个算法具有超线性收敛速度，那么从计算的角度就可以认为是一个比较好的算法;单谷函数（单峰函数）：;无约束优化：线有哪些信誉好的足球投注网站法;确定 的极小点;进退法求初始不确定区间 找三点使两端点的函数值大于中间点的函数值。 思路：任取λ0，步长δ 0，取λ1=λ0 + δ ， 1°若ф(λ0 ) ф(λ1), 令δ=2 δ（步长加倍），λ2=λ0- δ ， 若ф(λ2 ) ф(λ0),则令λ1=λ0 ，λ0=λ2 ,重复 1° 若ф(λ2 )ф(λ0),则停，a= λ2，b= λ1 (图1) 2°若ф(λ0 )ф(λ1), 令δ=2 δ, λ2=λ1 +δ ， 若ф(λ2 ) ф(λ1),则令λ0=λ1，λ1=λ2 ,重复 2° 若ф(λ2 )ф(λ1),则停，a= λ0 ，b= λ2 (图2);0.618法和Fibonacci法;0.618法;黄金分割法（0.618 法）（算法）;Fibonacci法;0.618法和Fibonnacci法都用于单谷函数，通过不断缩小有哪些信誉好的足球投注网站区间来获得极小点的近似值。0.618法的区间长度缩短比率是常数，而Fibonacci法的区间长度缩短比率有Fibonnacci数确定。当所需插入点的个数n充分大时，Fibonacci法的有哪些信誉好的足球投注网站区间缩短比率趋近于0.618法的缩短比率。;最速下降法;;;令;;牛顿法;牛顿方向;牛顿法特点;牛顿法的改进:;变尺度法/拟牛顿法; 下面分析怎样构造近似矩阵并用它取代牛顿法中的Hessian矩阵的逆.; 设在第 次迭代后,得到点 ,我们将目标函数 在点 展成Taylor级数,并取二阶近似,得到;则有; DFP算法; DFP方法计算步骤如下:;令 ;共轭方向法;共轭方向法，主要是其中的共轭梯度法（conjugate gradient method）。1952年Hesteness和Stiefel为求解线性方程组提出了共轭梯度法，1964年Fletcher和Reeves提出了F-R共轭梯度法（简称FR法），用来求解无约束优化问题。;其中 , 是对称正定矩阵, 是常数.;Fletcher-Reeves公式;拟牛顿法参看： “An Introduction to Optimization” 第10章，以及Lecture 5 Non-linear Programming.pdf 3.2.3.4节 ;约束极值的最优化方法;约束极值的条件的可叠加特性;约束问题的最优性条件;研究一点处的可行方向时，只需考虑在这一点的积极约束，可以暂时不管那些不积极约束;可行方向;Lagrange必要条件;Lagrange充分条件;不等式约束问题的最优性条件;几何最优性条件;可行方向代数条件;下降方向代数条件;可行下降方向;Kuhn－Tucker条件;KT条件几何解释;Zoutendijk可行方向法;可行方向法基本原理;仅带线性约束的Zoutendijk可行方向法;;;;制约函数法;罚函数法(外点法);障碍函数法（内点法）; 用MATLAB软件求解,其输入格式如下: 1．x=quadprog(H,C,A,b); 2．x=quadprog(H,C,A,b,Aeq,beq); 3．x=quadprog(H,C,A,b,Aeq,beq,VLB,VUB); 4．x=quadprog(H,C,A,b, Aeq,beq ,VLB,VUB,X0); 5．x=quadprog(H,C,A,b,Aeq,beq,VLB,VUB,