运筹学与最优化第二章下降算法与线有哪些信誉好的足球投注网站法剖析.ppt

第二讲无约束优化问题的下降算法与线性有哪些信誉好的足球投注网站 最优性条件 下降算法的一般步骤 线性有哪些信誉好的足球投注网站 无约束问题解的最优性条件 局部最优解的必要性条件 一阶必要性条件 二阶必要性条件 存在一些点，满足一阶和二阶必要性条件， 但不是局部最优解 必要性证明 一阶必要性条件 ：利用一阶Taylor展式 对固定的 将d用-d替换，得到 由d的任意性，得到 无约束凸优化问题的最优性条件 证明 证明 下降方向 下降算法的一般步骤 最速下降法： Newton法： 步长 的选取 非精确线性有哪些信誉好的足球投注网站 非精确线性有哪些信誉好的足球投注网站 练习 步长 的选取：线性有哪些信誉好的足球投注网站 步长 的选取 Armijo型线性有哪些信誉好的足球投注网站 思想：逐渐减少步长， 直到是目标更优 * 第2讲 无约束优化问题的下降算法与线性有哪些信誉好的足球投注网站 先欣赏几个函数的图形 先欣赏几个函数的图形 最优化问题数学模型 凸规划—求凸函数在凸集上的最小值问题 无约束最优化问题 严格局部最优解 局部最优解 严格全局最优解 注意这个条件不是充分的。 ● 二阶必要性条件 利用二阶Taylor展式 由于x*是局部最小解，故 且存在充分小的正 数 ，对于所有的 令 ，得到 必要性证明 局部最优解的充分性条件 证明：令 为 的最小特征值，则对所有的 d 当 足够小时， 与 相比， 可以忽略不计 （1） （2） 复习：关于多元函数的梯度和Hessian矩阵 梯度的意义 ● 上升方向 下降方向 变化率为零的方向 等值线(面) 下降方向 d 观察一阶Taylor展式 最速下降法具有慢的收敛速度 Newton法具有很快的收敛速度（二阶） *