第14章-非线性优化问题.pptVIP

非线性优化问题 ? 吴鹏, MATLAB从零到进阶. * 非线性优化问题 吴鹏（rocwoods） rocwoods@126.com MATLAB从零到进阶 * 主要内容 理论背景 理论模型 MATLAB实现 案例扩展 * 第一节 理论背景 * 1951年Kuhn-Tucker最优条件(简称KT条件) Davidon(1959), Fletcher和Powell(1963)提出DFP方法 1970年由Broyden,Fletcher,Goldfarb 和Shanno从不同的角度共同提出的BFGS方法 约束变尺度(SQP)方法(Han和Powell为代表)和Lagrange乘子法(代表人物是Powell 和Hestenes) 80年代开始研究信赖域法、稀疏拟牛顿法、大规模问题的方法和并行计算 90年代研究解非线性优化问题的内点法和有限储存法 * 第二节 理论模型 一、无约束非线性优化 不失一般性，无约束优化的一般形式： 其中， 为非线性函数。 对于无约束非线性最大化可以通过如下转换将其转化为标准的无约束非线性优化的一般形式： * 二、约束非线性优化 不失一般性，约束优化的一般形式： 其中， 为非线性函数。 为不等式约束， 为等式约束。 与无约束非线性最大化类似，对于约束非线性最大化可以通过 转换，将其转化为标准的约束非线性优化的一般形式： * * * 第三节 MATLAB实现 一、fminunc函数（无约束优化） * fminunc函数是MATLAB求解无约束优化问题的主要函数，函数主要 使用BFGS拟牛顿算法（BFGS Quasi-Newton method）、DFP拟牛顿 算法（DFP Quasi-Newton method）、最速下降法等。其调用格式主 要如下： x = fminunc(fun,x0) x = fminunc(fun,x0,options) [x,fval] = fminunc(...) [x,fval,exitflag] = fminunc(...) [x,fval,exitflag,output] = fminunc(...) [x,fval,exitflag,output,grad] = fminunc(...) [x,fval,exitflag,output,grad,hessian] = fminunc(...) * 其中输入参数： Fun: 目标函数 一般用句柄形式给出 X0： 优化算法初始迭代点 Options: 参数设置 函数输出： X: 最优点输出（或最后迭代点） Fval: 最优点（或最后迭代点）对应的函数值 Exitflag: 函数结束信息 （具体参见matlab help ） Output: 函数基本信息 包括迭代次数，目标函数最大计算次数，使用的算法名称，计算规模等。 Grad： 最优点（或最后迭代点）的导数 Hessian：最优点（或最后迭代点）的二阶导数 例题参考书中 【例14.3-1】 二、 fminsearch函数 * fminsearch是MATLAB中求解无约束的函数之一，其使用的算法为可变 多面体算法（Nelder-Mead Simplex），其调用格式主要如下： x = fminsearch(fun,x0) x = fminsearch(fun,x0,options) [x,fval] = fminsearch(...) [x,fval,exitflag] = fminsearch(...) [x,fval,exitflag,output] = fminsearch(...) * 其中输入参数： Fun: 目标函数 X0： 迭代初始点 Options：函数参数设置 函数输出： X: 最优点（算法停止点） Fval: 最优点对应的函数值 Exitflag: 函数停止信息 1： 函数收敛正常停止 0： 迭代次数，目标函数计算次数达到最大数 -1：算法被output函数停止 Output：函数运算信息 例题参考书中 【例14.3-2】 三、 fmincon函数 * fmincon是MATLAB最主要的求解约束最优化的函数，该函数要求的 约束优化问题的标准形式为： 其中， 为向量， 与 为矩阵，