刘慧莲-实验报告..docVIP

内蒙古大学学期作业 最优化理论与方法 学习报告 学院：数学科学学院 专业：运筹学 姓名：刘慧莲 学号任课教师：陈国庆 2014/7/1 总体介绍 最优化，是应用数学的一个分支，主要研究以下形式的问题：给定一个函数，寻找一个元素使得对于所有A中的，（最小化）；或者（最大化）。 这类定式有时还称为“数学规划”（譬如，线性规划）。许多现实和理论问题都可以建模成这样的一般性框架。典型的，A一般为欧几里得空间中的子集，通常由一个A必须满足的约束等式或者不等式来规定。?A的元素被称为是可行解。函数f被称为目标函数，或者费用函数。一个最小化（或者最大化）目标函数的可行解被称为最优解。一般情况下，会存在若干个局部的极小值或者极大值。局部极小值x?*?定义为对于一些δ 0，以及所有的x?满足; 公式成立。这就是说，在周围的一些闭球上，所有的函数值都大于或者等于在该点的函数值。一般的，求局部极小值是容易的，但是要确保其为全域性的最小值，则需要一些附加性的条件，例如，该函数必须是凸函数。连续可微，且。由定理可知，若,则是在处的下降方向。最速下降法的基本思想是以负梯度方向作为下降迭代公式中，并通过求解 确定最佳步长，每一次迭代力求做到数值最大幅度的下降。 若具有二阶连续偏导，在作的二阶泰勒展开式 对求导并令其等于零，得最佳步长 也可以用精确一维有哪些信誉好的足球投注网站方法求解，确定最佳步长。 2.1.2 步骤 （1）给定初始点，允许误差，置； （2）计算有哪些信誉好的足球投注网站方向； （3）若，则停止计算；否则，确定最佳步长； （4）令，置，转第（2）步。 2.1.3 收敛性 在最速下降法中，前后两次的有哪些信誉好的足球投注网站方向垂直，正是这种锯齿形的有哪些信誉好的足球投注网站轨迹使最速下降法效率低下。其实，最速下降方向反映了目标函数的一种局部性质。从局部看，其下降方向是函数值下降最快的方向，但从全局看，由于锯齿现象的出现，当在极小值 点附近时，即使向着极小值点移 动不太大的距离，也要经历不少的弯路，从而使收敛速度大为减慢。它具有全局收敛性，并且是线性 收敛的。为避免锯齿现象对收敛速度的影响，在计算初期可使用最速下降法，在迭代一段时间以后，改用其他更有效的方法。 2.2共轭梯度法 2.2.1 原理 共轭梯度法是把共轭性与最速下降法相结合，利用已知点处的梯度构造一组共轭方向，并沿这组方向进行有哪些信誉好的足球投注网站，求出目标函数的极小值点。 2.2.2 步骤 （1）选择初始迭代点，给出允许误差； （2）计算，置； （3）用其中，为初始迭代点，。计算，，和（求也可直接使用精确一维有哪些信誉好的足球投注网站方法）； （4）若，且，则置，转第（3）步；否则，转第（5）步； （5）若，停止计算，即为近似极小值点；否则，令＝，并转向第（2）步，重新开始迭代。 2.2.3 收敛性 共轭梯度法具有全局收敛性，且收敛速度快（至少是线性收敛）、存储空间小等特点，尤其是对正定二次函数能在有限步内达到极小值点，即具有二次终结性。P-R-P法对大规模优化问题有较好的效果。 2.3 牛顿法 2.3.1 原理 牛顿法是利用二次函数近似目标函数，设是二次可微实函数，，的极小值点的一个估计，作在处的二阶泰勒展开式 为求的驻点，令，即，设在处的矩阵可逆，由上式得到牛顿法的迭代公式 ，称牛顿方向。 2.3.2 步骤 （1）给定初始点，给出允许误差，置； （2）计算，； （3）若，停止计算；否则，令； （4）求解令，置，转第（2）步。 当恒为1时，阻尼牛顿法就退化为牛顿法，因此收敛速度不会低于牛顿法。在一定条件下具有全局收敛性，且为二阶收敛，可用于求解非正定二次函数的极小值点。 2.3.3收敛性 牛顿 法具有二阶收敛速度，这是它的最大的优点中，对二次正定函数，仅需一步迭代即可达到最优解，具有二次终止性。它是局部收敛的，即初始点选择不当，可能会导致不收敛；牛顿法不是下降算法，当二阶矩阵非正定时，不能保证牛顿方向是下降方向；二阶矩阵必须可逆，否则算法将无法进行下去；对函数分析性质要求苛刻，计算量大，仅适合小规模优化问题。 2.4 变尺度法（DFP法） 2.4.1 原理 变尺度法是在处，按某种规则产生一个对称正定矩阵（称之为尺度矩阵），并以作为处的有哪些信誉好的足球投注网站方向。显然，只要，就是下降方向。若取,就是最速下降方向；若取，就是牛顿方向（如果存在）。我们已经知道，前者收敛太慢，有锯齿现象，而后者计算量较大，可能不收敛。 2.4.2 步骤 （1）取初始点，给出允许误差，置； （2）计算，若，得到极小值点，停止迭代； （3）令，，其中为最佳步长，即 （4）计算，若，得 到极小值点，停止迭代； （5）若，令，置，转第（3）步； （6）若，计算和，按式 （7）计算和，对DFP法，按