课程名：最优化算法理论与应用解析.ppt

课程名：最优化算法理论与应用 单位：清华大学自动化系 电子信箱：swang@mail.tsinghua.edu.cn 教师：王书宁 电话讲课时间：2008年10月15日起每周三下午2点开始 讲课地点：自动化所自动化大厦十三层第二会议室 电子信箱： huangxl06@mails.tsinghua.edu.cn 助教：黄晓霖 优化方法基本分类 本门课程有关事宜 优化问题基本分类 优化问题基本分类 例、和优化联系非常密切的一类问题 （回归、辨识、估计、训练、学习、拟合、逼近…） 已知某个标量 和某个向量 之间若干一 一对应的样本数据 要确定一个函数 ，使在包含所有样本数据的某个 集合 里能够用 描述 和 之间的对应关系，即 使误差 对任意的 都尽量小 基本方法：选择含有待定参数的函数 ，通过极小 化某种样本误差确定待定参数得到所需函数 常用 范数的样本误差 于是，最终要解决的是下述优化问题 这是连续变量无约束优化问题 对于采用 范数形成的优化问题 为克服目标函数不可导的困难，可以等价转换成下面的 连续变量约束优化问题 特别是，当 是 的线性函数时，即 上面的优化问题是线性规划问题 一般选择足够多的基函数 使优化问题 的样本误差任意小，这样得到的模型在样本集以外通常 会产生很大的预报误差，这就是所谓过度拟合或过度训 练问题。解决该问题的根本途经是同时极小化基函数的 个数，理论上要解决连续和离散变量混合的优化问题 其中 是设定的正的权值 前面的例子包含了优化问题最基本的类型 线性 与 非线性 无约束 与 有约束 连续变量 与 离散变量 后者相对于前者在难度上均有质的改变 具有不确定性和动态特性的问题 转换成上述问题 优化方法基本分类 例 基本方法：从 之间的任一点出发，朝着能够改进目 标函数的方向有哪些信誉好的足球投注网站前进，直至目标函数不能改进 肯定能够收敛到一个局部最优解，不能保证全局最优 跳出局部陷阱的唯一途经是在有哪些信誉好的足球投注网站过程中允许前进到目 标函数值变差的点，如在 之间容许目标函数下降才 有可能找到全局最优解 由此产生新问题，无法保证算法收敛 为了使算法收敛，只能引入不确定性，让算法在任何一 点以一定的概率前进到邻近的某点，移动概率和相应点 的目标函数值正相关，所以 由此产生的算法是结果不确定的算法 前面的例子包含了优化方法最基本的类型 确定型有哪些信誉好的足球投注网站 与 不确定型有哪些信誉好的足球投注网站 前者是经典的优化教材介绍的主要内容，后者 包括模拟退火、禁忌有哪些信誉好的足球投注网站、遗传算法、免疫算 法、蚂蚁算法等方法，一般统称为智能算法 本课程主要讨论基于确定性有哪些信誉好的足球投注网站的优化方法 本门课程有关事宜 教材：运筹学（第二版），刁在筠等编，高教出版社 自第2章到第6章按教材顺序讲课，内容有增减 考核： 考试（开卷）成绩占60％，平时成绩占40％， 后者为平时作业成绩平均值加课堂练习与提问