机械优化设计教案第四章无约束优化.pptVIP

第４章 无约束优化方法 4.2 坐标轮换法（变量轮换法） 基本原理 　　将一个多维无约束优化问题转化为一系列一维优化问题来求解。即：一次沿着坐标轴的方向进行一维有哪些信誉好的足球投注网站，求得极小点。 4.3 模式有哪些信誉好的足球投注网站法 　　由图4.1可见，在沿着坐标进行了一轮有哪些信誉好的足球投注网站后，如果沿着　　　　所定义的方向 　　　　　　　进行一次寻优，将大大提高坐标轮换法寻优的速度，其基本原理如图4.2所示。 4.4 Powell共轭方向法 共轭方向法及其构成 坐标轮换法的收敛速度很慢，原因在于其有哪些信誉好的足球投注网站方向总是平行于坐标轴，不适应函数的变化情况。 4.5 最速下降法 基本原理 　　在迭代过程的某一点Xk处，目标函数的负梯度方向 －▽f(Xk)是函数的最速下降方向。最速下降法即利用这一性质，将n维无约束极小化问题转化为一系列沿目标函数负梯度方向进行一维寻优的一种方法，即在每一迭代点Xk ，选取有哪些信誉好的足球投注网站方向Sk 为负梯度方向： 最速下降法的特点： 迭代过程简单，对初始点X0的要求不高，虽要计算导数，但只要求一阶偏导，存储单元较少。 收敛慢。 　　　对于复杂的优化问题，最速下降法不具备实用价值，但由于在迭代开始时函数值下降较快，常用于其他方法中作初始迭代法。 4.6 牛顿法 4.7 变尺度法(DFP法及BFGS法) 　　变尺度法是在克服了最速下降法的收敛慢和牛顿法计算量大的缺点而发展起来的，是求解无约束优化问题最有效的算法，在工程优化设计中得到了广泛的应用。 DFP变尺度法 DFP算法的迭代修正矩阵： DFP方法的特点： 变尺度法在最初的几步迭代，与最速下降法类似，函数值下降较快；而在最后的几步迭代，与牛顿法相近，可较快地收敛到极小点。 因此，变尺度法能够克服最速下降法收敛慢的缺点，但却保留了最速下降法在最初几步函数值下降快的优点；同时避免了计算Hessian矩阵及其逆矩阵，从而克服了牛顿法计算量大的缺点，但却有较快的收敛速度。所以，在目标函数的梯度容易计算的情况下，变尺度法是一种很有效的方法。 但在计算变尺度矩阵的公式中，其分母含有近似矩阵Ak,计算中容易引起数值不稳定，甚至可能得到奇异矩阵Ak。 　　　为提高实际运算稳定性，通常将进行n次（n为目标函数的维数）迭代作为一个循环，将变尺度矩阵重置为n维单位矩阵I，并以一个循环的终点作为起点，进行下一轮的迭代。 BFGS变尺度法 　　　为了进一步改善DFP变尺度法在实际计算中存在的算法稳定性，Broydon等人提出了改进的算法—BFGS变尺度法。 　　 BFGS法与DFP法的不同之处在于修正矩阵ΔAk的计算公式不同。 4.8 共轭梯度法 　　　共轭梯度法是由弗来特(Fletcher)和里伍斯(Reeves)提出的。共轭梯度法是共轭方向法的一种，因为在该方法中每一个共轭向量都是依赖于迭代点处的负梯度而构造出来的，故称共轭梯度法。 4.13 小结 在这许多无约束优化方法中，究竟哪个最好，由于实际问题的复杂性，和各种方法各自具有一定的特点，应该从多方面来进行分析。 一般认为，评价一种算法的优劣可以从以下几方面加以考察： 4.10 Hooke－Jeeves直接探索法 Hooke－Jeeves与Powell又都属于模式探索方法（Pattern Search Method）。 Hooke－Jeeves法的程序简单，当变量数较少时比较有效，适应性较强。但在每轮探索中包括了一次沿坐标轴的移步，其收敛速度虽比坐标轮换法有所改善，但仍然较慢。同样不适合高维数问题。 　　每一轮探索包括两种移动：探测性移动和模式性移动。　 图4.13 在二维空间中Hooke Jeeves法的探索过程 4.11 Marquardt法 Marquardt法的基本原理 (4-18) (4-19) Marquardt法的迭代步骤 求出这个二次近似函数的极小点； 基本思想： 　牛顿法是最速下降法的进一步发展，其基本思想： 在求目标函数f(X)的极小值时，先将f(X)在点Xk附近作泰勒展开，取其二次函数式： 若f(X)是二次函数，则X*即f(X)的极小点；否则只是一个近似点。 若该极小值满足精度要求，以该极小点作为原目标函数的近似极小点；否则，以此近似极小点作为下一次迭代的初始点，继续以上过程，迭代下去，直至所求出的近似极小点满足精度要求为止。 阻尼牛顿法（或修正牛顿法） 阻尼牛顿法是为了克服牛顿法的上述弊病，对其加以改进而提出的。 牛顿法的特点 牛顿法不仅利用了函数的一阶导数信息，还利用了函数的二阶导数信息，其收敛速度较最速下降法快得多。 但牛顿法要计算Hessian矩阵及其逆矩阵，计算量存储量均很大，且都以维数n2比例增加，维数高时这个问题更加突出。此外，若Hessian矩阵是奇异矩阵时，其逆矩阵不存在，