【微积分讲解】微分学在最优化方面的应用.docVIP

第二章 第六节 微分学在最优化方面的应用 2-6-1 多元函数的无条件极值 2-6-2 多元函数的条件极值 第七讲 微分学在最优化方面的应用 课后作业： 阅读：第二章第五节 5.2: pp. 60---63 预习：第二章第五节 5.2: pp. 60---63 作业: 第二章 习题4: pp. 59---60 : 6, (3), (5); 7, (1), (2) ; 8; 10; 12; 13. 引言：多元函数极值问题的提法与普遍性 最优化问题的普遍性： 黑格尔的名言：“存在的必然是合理的, 而合理的必将是存在的。”这句话前半句包含着一个静态的最优问题；而后半句则包含着一个动态的最优问题. 因为“合理”，就某种意义下的“最优”。 最优化问题的提法 在“某种条件”下的“某量最优” 某量: 目标函数 条件: 约束条件: 问题: 问题举例 今有m个点, , 求一点，到各点距离平方之和最小。 今有一空间曲面及一点，在此曲面上找一点到点距离最小。 今有一空间曲线及一点，在此曲线上找一点到点距离最小。 一般非线性规划： 线性规划：, 其中, 变量是而和是给定的矩阵与向量 另外有变分问题；最优控制问题。此时目标函数的自变量不是在 中, 而是在函数空间中。 例如，求两点问最速下降曲线：设的线为 2-6-1 多元函数的无条件极值 极值的必要条件 极值与极值点: 设函数, 若存在点某个邻域, 都有则称是的一个极小值 (minimum)，并称为的一个极小值点. 类似地可定义: 若都有则称是 的一个极大值 (maximum)，并称为的一个极大值点. 极限的必要条件 定理（极值点的必要条件）设函数在点达到极值，若在该点可微，则有, 或者 . 证明一： 在点达到极小值 ,, ,, ,. 证明二： 在点达到极小值 ,, , 其中，是任意的单位向量, , , , 可微函数只能在驻点取得极值.但是驻点并非极值的充分条件,例如二元函数,原点是它的一个驻点,但是该函数在原点不取极值,这是因为,在轴上原点以外的部分,轴上原点以外的部分. 另外,如果是不可微的函数, 取得极值的点也可能不是驻点.例如, 原点是二元函数的极小值点,然而这个函数在原点不存在偏导数,从而不可微.这是由不可微函数的优化理论。 极值的充分条件 定理（极值点的充分条件）设在点某邻域内二阶偏导数连续，且是驻点，即，则 1．正定时，是的极小值点； 2．负定时，是的极大值点； 3．不定时，不是的极值点. 其中，为在处的海森矩阵. 证明:为简便起见,只对于二元函数的情形给出证明. 当n=2时,函数在处的海森矩阵是 今记: , 在处的2阶Taylor公式为 = = =. 再设 , , = = =. 由于 =, 与二次函数(二次型) = = 的符号相同。因此有： 若,二次函数(矩阵正定).在点的某个邻域中,恒有 . 因此在点取得极小值. 若,在点取得极大值. 3. 若,二次函数可正可负(即海森矩阵 既非正定,也非负定),因此的符号也是 不定的.于是在点既不取极小值,也不取极 大值. 当时,仅仅根据在点的二阶导数不足以判定在点是否取得极值,需要作进一步讨论,这里从略. 例1 求函数的所有局部极值. 解 求偏导数得，解 得到9个驻点： 求二阶偏导数得 . 在上述每个点计算得到下表： 由极值的充分条件可知，函数在 取局部极小值，其它点均为鞍点（非极值点）. 例2（最小二乘法）设变量与之间的关系是，其中是待定常数.现在通过实验测得了与的一组数据，问如何由这一组数据得到最佳的待定常数. 解 所谓最佳，是指测量值与精确值之间的误差平方和达到最小，即使的函数 .令 当时，由此解出 . 一般情况：设变量与之间的关系是，其中, 现在通过实验测得了与的一组数据，问如何由这一组数据得到最佳的待定常向数和常数. 记成 或 这种求待定参数的方法就称为最小二乘法. 2-6-2 多元函数的条件极值 问题一：. 常规做法: 解方程 解无条件极值问题： 求驻点： 解