ch2 优化方法数学基础v2010.pptVIP

第二章 优化方法的数学基础 §2-1 方向导数与梯度 §2-2 凸集、凸函数与凸规划 §2-3 多元函数的泰勒展开 §2-4 无约束优化问题的极值条件 §2-5 等式约束优化问题的极值条件 §2-6 不等式约束优化问题的极值条件 §2-1 方向导数与梯度 n元函数在点x0处沿s方向的方向导数 二、 梯度 二元函数的梯度 梯度的模： 梯度方向是函数值变化最快的方向，而梯度的模就是函数变化率的最大值 。 多元函数的梯度 例题 2-1 §2-2 凸集、凸函数与凸规划 §2-3 多元函数的泰勒展开 一、 一元函数 二、多元函数 2. 处取得极值充分条件 K-T条件 K-T条件是多元函数取得约束极值的必要条件,以用来作为约束极值的判断条件，又可以来直接求解较简单的约束优化问题。 K-T条件是多元函数取得约束极值的必要条件,以用来作为约束极值的判断条件，又可以来直接求解较简单的约束优化问题。 试用K-T条件判断X=[-1，1]T是否下述优化问题最优解？ （1）首先判断X=[-1，1]T是否为可行点 （2）起作用约束 （3）在X处目标函数和约束函数的梯度 （4）求拉格朗日乘子 1．约束极值点的库恩—塔克条件为 F(X)= ， 当约束条件 gi(X)≤0(i=1,2,…,m)和λi≥0时，则q应为( )。 A. 等式约束数目 B. 不等式约束数目 C. 起作用的等式约束数目 D. 起作用的不等式约束数目 例： 在 处梯度为 但 只是双曲抛物面的鞍点，而不是极小点。 为了判断从上述必要条件求得的 是否是极值点，需建立极值的充分条件。 根据函数在 点处的泰勒展开式，考虑上述极值必要条件，可得相应的充分条件。 海色（Hessian）矩阵 正定，即各阶主子式均大于零，则X*为极小点。 海色（Hessian）矩阵 负定，即各阶主子式负、正相间，则X*为极大点。 等式约束优化问题数学模型： 　　　　　min　　f (x) 　　　　　　s.t.　 hj (x)=0 (j=1,2,…,m) 一、消元法 通过减少变量将等式约束优化问题变成无约束优化问题。 对于n维情况： min　　f (x) 　　　　　　　　s.t. 　hk(x1,x2,…,xn)=0　 (k=1,2,…,l) §2-5 等式约束优化问题的极值条件 两种处理方法： 消元法（降维法）、拉格朗日乘子法（升维法） 若将这些关系式代入到目标函数中，从而得到只含xl+1,　xl+2,…,xn共n-l个变量的函数，这样就可以利用无约束优化问题的极值求解。 由l个等式约束方程可以得到如下表达式： 即将n个变量中的前l个变量用其余n-l个变量表示。 二、拉格朗日乘子法 通过增加变量将等式约束优化问题变成无约束优化问题。 对于具有l个等式约束的N维优化问题： min　f(x) 　 s.t. 　hk(x)=0 (k=1,2,…,l) 为了求出f(x)的可能极值点x*=[x1* x２*…xn*]T，引入拉格朗日乘子?k(k=1,2,…,l) ，并构成一个新的目标函数： 把F(x,?)作为一个新的无约束条件的目标函数来求解它的极值点，所得结果就是在满足约束条件hk(x)=0的原目标函数f(x)的极值点。 具有极值的必要条件: 　　　由此可得n+l个方程,从而解得x=[x1 x２…xn]T和?k(k=1,2,…,l) 共n+l个未知变量的值。由上述方程组求得的x*=[x1* x２*…xn*]T是函数f(x)极值点的坐标值。 在工程上大多数优化问题都可表示为具有不等式约束条件的优化问题。因此研究不等式约束极值条件是很有意义的。不等式约束的多元函数极值的必要条件是库恩-塔克条件，它是非线性优化问题的重要理论。为了便于理解，先分析一元函数在给定区间上的极值条件。 一、一元函数在给定区间上的极值条件 对于一元函数f(x)在给定区间[a,b]上的极值问题，可写成如下具有不等式约束条件的优化问题： Min　f(x) s.t.．　 g1(x)=a-x=0 　　 g2(x)=x-b=0 §2-６ 不等式约束优化问题的极值条件 　　首先引入松弛变量变量将不等式约束变成等式约束，具体处理如下： 现引入a1和b