现代优化算法.pptVIP

39 现代优化算法 李金屏 济南大学信息科学与工程学院 模式识别与智能系统研究所 (1st version in 2002.9) 2006.9 内容概要 优化算法简介——运筹学 正交试验法 TABU禁忌有哪些信誉好的足球投注网站算法 模拟退火算法 遗传算法进化计算 现代优化算法再述 课题组的工作 优化算法简介——概念、基本形式 什么是优化？就是从各种方案中选取一个最好的。从数学角度看，优化理论就是研究如何在状态空间中寻找到全局最优点。 比如水泥混凝土的性能，涉及到水、沙、石子、水泥和其他掺杂物比例。学校课程表排课问题、售票员上岗问题、公司内部人员安排出效益等。降低成本、提高效益是问题的关键。 一般的优化具有下面形式： minf (x1, x2, …, xn) s.t. g(x) ? 0，x?D 其中x1, x2, …, xn?Ω（即问题的可行域，代表问题参数的选择范围），即minf (X)，其中X?Ω（矢量形式）。f(x)是决策问题的数学模型，也是决策问题的目标函数，g(x) ?0是决策问题的约束条件，D是决策问题的定义域（可行域）。问题归结为求极值。极值点非常多，需要找到全局最小点。 注：求问题的最大和最小是同一个问题，算法完全一样。 优化算法简介——优化算法分类 如果决策问题是一个凸问题，可以利用线性规划、非线性规划等求解。然而大量的实际问题是非凸问题，需要在大量的局部极优解中寻找全局最优解。此时，决策变量x是否连续，数学模型f(x)是否具有解析表达式，对于求解难度会有不同的影响。 这是一个全局寻优问题。很多方法讨论的是如何在一个极值点附近有哪些信誉好的足球投注网站极值点。一般情况下，利用穷举的方法是不可能的。 习惯上，将优化算法分为两类：局部优化算法和全局性优化算法。前者可以称为经典优化算法，已经得到了人们广泛深入的研究。目前，运筹学（确定论方法）主要包括这些方面的内容，线性规划、整数规划、0–1规划、非线性规划、排队论、决策论。后者习惯上称为现代优化算法，是20世纪80年代兴起的新型全局性优化算法，主要包括禁忌有哪些信誉好的足球投注网站、模拟退火、遗传算法等，其主要应用对象是优化问题中的难解问题，即NP–hard问题 现代优化算法——一般性描述 ——全局性优化理论的一般性描述 状态接受规则研究如何接受按照状态转移规则获得的新状态，即确定性接受还是概率性接受。确定性方式仍然是只接受更好的结果，拒绝恶化的结果。通常使用概率性方式，也有两种做法：一种是更好结果肯定接受，恶化结果按照一定概率接受；另一种是无论好恶均以一定概率接受，只是结果越好接受概率越高。不同方式对于最终结果会有不同影响。由于状态接受规则体现优胜劣汰的思想，全局优化也会陷入局部极优解，因此必须考虑多样性问题。单点法 课题组的工作——已经完成的工作 局部优化算法的改进：梯度下降法——自适应调整其学习率（步长调整） ——《模式识别与人工智能》、《系统工程与电子技术》 遗传算法的参数确定：遗传算法平均截止代数和成功率与种群规模之间的关系。 ——《系统仿真学报》（增刊） 遗传算法改进：与正交试验法相结合——正交遗传算法。 ——《电子学报》 遗传算法改进：与梯度下降法的结合——混合遗传算法。 ——《现代信息技术理论与应用——CIE-YC2002》 遗传算法改进：与小生境进化算法、聚类分析相结合。 ——《小型微型计算机系统》 谢谢大家！ ——于济南大学 现代优化算法——一些特例 在可行域中进行纯随机性概率有哪些信誉好的足球投注网站，将获得Monte Carlo方法，此时的状态转移完全是随机的，没有利用任何启发信息。 随机地从多个初始状态出发进行局部有哪些信誉好的足球投注网站，实际上是一种最原始的全局性和局部性优化算法的结合，即多点随机试探局部有哪些信誉好的足球投注网站法，此时的启发信息完全体现于局部有哪些信誉好的足球投注网站部分，全局性优化部分仍然是随机的和盲目的。 利用禁忌表记录曾经或已经到达过的局部极优解，下次有哪些信誉好的足球投注网站时利用该表信息不再或有选择地有哪些信誉好的足球投注网站这些点，以此跳出局部极优解，增加有哪些信誉好的足球投注网站的区域，是禁忌有哪些信誉好的足球投注网站的基本思想。显然这种有哪些信誉好的足球投注网站的效率是比较高的，但参数设置是一个需要认真研究的问题，涉及到禁忌对象、禁忌长度、候选集合、评价函数、特赦规则、终止规则等的合理确定。这里的全局性启发信息体现在禁忌表。 现代优化算法——一些特例 从可行域的某个初始状态出发，按照符合一定概率分布的状态转移规则有哪些信誉好的足球投注网站最优解，利用概率的方法接受新状态，即更好结果肯定接受，恶化结果按照一定概率接受，而且随着有哪些信誉好的足球投注网站的进行接受恶化解的概率逐渐变小，这是模拟退火的基本思想。这种有哪些信誉好的足球投注网站没有结合局部优化算法，但具有隐含的局部优化能力。需要考虑的参数包括初始温度选取、Markov链长度（平衡态判据）、温度控制策略、终止条件等。这里的启发信息体现在状态转移规则和状态接受规则，分别指导全局性优化和局部性优化。 现代优化算法——一些特例 从可行域中的多个初始