非线性-无约束规划.pptVIP

章

无约束非线性最优化方法

基本模型:用符号(fs)表示非线性规划

1）方向导数

设M0位数量场u=u(M)中的一点,从点M0出发引一

条射线l,在l上点M0的附近取一动点M,记

如果时，下列表达式的极限存在

则称之为M0处沿着l方向的方向导数.记为

当时,表示函数u沿l是增加方向,

当时,表示函数u沿l是减小方向。

1.方向导数与梯度

2）直角坐标系中方向导数的计算公式

定理1.若函数u=u(x,y,z)在点M0(x0,y0,z0)处可微;

为l的方向余弦,则函数u在点M0处

沿l方向导数必然存在，且有下面公式计算

其中是在M0附近的偏导数.

例题1求函数在点M(1,0,1)处沿着

方向的方向导数

解:

3)梯度：根据方向导数公式

可以知道是其变化率最快的方向,称为

梯度,记为Gradu.如果用表示l线

上的单位矢量,则方向导数可以写成

梯度的性质：

1)方向导数等于梯度在该方向的投影.即

2)数量场u=u(M)中任一点M处的梯度,垂直于过该点

的等值面,且指向u(M)增大的一方.

例3设为点M(x,y,z)的矢径的模,试证

2.海瑟矩阵

海瑟矩阵是对称形式：

3非线性规划问题的展开形式

多元函数泰勒公式的矩阵形式：

其中

线性函数：f(X)=CTX+B=cixi+B

二次函数：f(X)=(1/2)XTQX+CTX+B

f(x)=f(x*)+fT(x)(x-x*)+(1/2)(x-x*)T2f(x*)(x-x*)

+o‖x-x*‖2

4凸集、凸函数和凸规划

1）凸函数

定义:设集合SRn为凸集，函数f:SR

若x(1),x(2)S,(0,1)，均有

f(x(1)＋(1-)x(2))≤f(x(1))+(1-)f(x(2))，

则称f(x)为凸集S上的凸函数。

若进一步有上面不等式以严格不等式成立，则称f(x)为凸集S上的严格凸函数。

性质:当-f(x)为凸函数（严格凸函数）时，则称f(x)为凹函数（严格凹函数）。

严格凸函数

凸函数

严格凹函数

2.2凸集、凸函数和凸规划(续)

定理：f(x)为凸集S上的凸函数S上任意有限点的凸组合的函数值不大于各点函数值的凸组合。

思考：设f1,f2是凸函数，

设1,20,1f1+2f2,1f1-2f2是否凸函数？

f(x)=max{f1(x),f2(x)},g(x)=min{f1(x),f2(x)}是否凸函数？

凸规划=凸可行集+凸目标函数

凸函数与凹函数(续)

凸函数的判定:

如果函数f(X)的Hesse矩阵处

处半正定，则f(X)为凸函数，

若f(X)正定，则f(X)为严格凸函数。

注:该命题的逆命题不成立

例题检验函数

的凸性。

无约束问题的最优性条件

1.必要条件：若X*是函数f(X)的局部最大点，则在该点必有f(X*)=0以及Hesse矩阵2f(X*)半正定

定义:对于可微函数f(X),称使其梯度为零向量的点为平稳点（驻点）。

2.若X*是驻点，则其为极值点的充分条件:

1)若H(X*)半正定，X*为局部极小点；

若H(X*)正定，X*为孤立局部极小点；

2)若H(X*)半负定，X*为局部极大点；

若H(X*)负定，X*为孤立局部极大点；

3)若H(X*)不定，X*为鞍点；(阅读课本的例题)

6最优化问题的数值解VS解析解

1.解析解与数值解

注意获得解析解