机械优化设计第2章数学基础(免费阅读).pptVIP

第二章 优化方法的数学基础 §2-1 方向导数与梯度 §2-2* 凸集、凸函数与凸规划 §2-3* 二次函数及正定矩阵 §2-4* 无约束优化问题的极值条件 §2-5* 有约束优化问题的极值条件 §2-1 方向导数与梯度 n元函数在点x0处沿s方向的方向导数 二、 梯度 二元函数的梯度 梯度的模： 梯度方向是函数值变化最快的方向，而梯度的模就是函数变化率的最大值 。 多元函数的梯度 例题 2-1 §2-2 凸集、凸函数与凸规划 一、 多元函数的泰勒展开 多元函数泰勒展开 例题: 二、无约束优化问题的极值条件 2. 处取得极值充分条件 * * 一、方向导数 二元函数在点x0处沿某一方向s的方向导数 方向导数是偏导数概念的推广。 方向导数与偏导数之间的数量关系是 O x2 x1 x10 x20 x0 ?x1 ?x2 ?s x S ?1 ?2 图2-1 为函数F(x1，x2)在x0点处的梯度。 设 梯度方向和s方向重合时，方向导数值最大。 图2-2 梯度方向与等值线的关系 设： 则有 为单位向量。 函数的梯度方向与函数等值面相垂直，也就是和等值面上过x0的一切曲线相垂直。 由于梯度的模因点而异，即函数在不同点处的最大变化率是不同的。因此，梯度是函数的一种局部性质。 梯度 模： 梯度两个重要性质： 性质一 函数在某点的梯度不为零，则必与过该点的等值面垂直； 性质二 梯度方向是函数具有最大变化率的方向。 图2-2 梯度方向与等值面的关系 求函数 在点[3,2]T 的 梯度。 在点x(1)=[3,2]T处的梯度为： 解： 当极值点X*能使f（X*）在整个可行域中为最小值时，即在整个可行域中对任一X都有f（X）≥f（X*）时，则X*就是最优点，且称为全域最优点或整体最优点。若f（X*）为局部可行域中的极小值而不是整个可行域中的最小值时，则称X*为局部最优点或相对最优点。最优化设计的目标是全域最优点。为了判断某一极值点是否为全域最优点，研究一下函数的凸性很有必要。 函数的凸性表现为单峰性。对于具有凸性特点的函数来说，其极值点只有一个，因而该点既是局部最优点亦为全域最优点。 为了研究函数的凸性，现引入凸集的概念： 一、凸集 设D为n维欧氏空间中的一个集合，若其中任意两点X(1)、X(2)之间的联接直线都属于D，则称这种集合D为n维欧氏空间的一个凸集。图2-3（a）是二维空间的一个凸集，而图2-3（b）不是凸集。 图2-3 二维空间的凸集与非凸集 凸函数的集合意义如图2-4所示： 图2-4 一元凸函数的几何意义 在凸函数曲线上取任意两点（对应于X轴上的坐标X(1)、X（2））联成一直线线段，则该线段上任一点（对应于X轴上的X(k)点）的纵坐标Y值必大于或等于该点（X(k)）处的原函数值f(X(k))。 外，最简单最重要的一类就是二次函数。 在n元函数中，除了线形函数： 或 f(X)=aX+c §2-3 二次函数及正定矩阵 其中 均为常数。 在代数学中将特殊的二次函数 称为二次型。 对于二次函数，我们更关心的是Q为正定矩阵的情形。 其中 Q= b= Q为对称矩阵 其向量矩阵表示形式是： 二次函数的一般形式为： 解：对称矩阵Q的三个主子式依次为： 例：判定矩阵Q= 是否正定 一个n×n对称矩阵Q是正定矩阵的充要条件是矩阵Q的各阶主子式都是正的。 因此知矩阵Q是正定的。 §2-4 无约束优化问题的极值条件 二元函数： 二元函数：在点Xk处 海色矩阵 （Hessian） 对二次函数： 为二次函数的海色（Hessian）矩阵，常量矩阵。 二次函数的梯度为： 例：求目标函数f（X）= 的梯度和Hesse矩阵。 解：因为 则 又因为： 故Hesse阵为： 用泰勒展开将函数 在点 简化成线性函数与二次函数。 解：函数在点 的函数值、梯度和二阶导数矩阵： 简化的线性函数 简化的二次函数 1.F(x)在 处取得极值，其必要条件是: 即在极值点处函数的梯度为n维零向量。 但：该条件仅为必要的，而不是充分的。 根据函数在 点处的泰勒展开式，考虑上述极值必要条件，可得相应的充分条件。 为了判断从上述必要条件求得的