基于强化学的Gmbler策略研究与评价研究设计书思考.docVIP

本科毕业设计(论文) 学院(部) 计算机科学与技术学院 题目 基于强化学习的Gambler策略研究与评价 年级 专业 软件工程（嵌入式） 班级 学号 姓名 指导教师 职称 论文提交日期 目 录 摘 要 1 ABSTRACT 2 第一章 前 言 3 1.1背景概述 3 1.2 强化学习的应用 3 1.3 论文结构安排 4 第二章 强化学习 5 2.1 强化学习的原理和模型 5 2.2 强化学习系统的主要组成要素 6 2.3 马尔可夫决策过程 (MDP) 7 2.4 强化学习的基本算法 8 2.4.1 动态规划(Dynamic Programming, DP) 8 2.4.2 蒙特卡罗算法 (Monte Carlo method, MC) 9 2.5 强化学习中有待解决的问题 9 2.6 本章小结 9 第三章 动态规划分析 10 3.1 动态规划的适用条件 10 3.1.1最优化原理 10 3.1.2无后向性 10 3.1.3子问题的重叠性 10 3.2 算法流程 11 3.2.1策略评估 11 3.2.2策略改进 11 3.3 寻找最优策略 12 3.3.1策略迭代 12 3.3.2值迭代 12 3.4 动态规划的效率 13 3.5 本章小结 13 第四章 实验平台分析与实现 14 4.1 实验平台描述 14 4.1.1系统概述 14 4.1.2系统运行环境 14 4.2 Gambler问题仿真 14 4.3 实验平台概要设计 15 4.3.1底层框架模型 15 4.3.2 Gambler问题模型 17 4.3.3界面设计 17 4.4 实验平台的详细设计 19 4.4.1类和接口 19 4.4.2核心算法示例 22 4.5 本章小结 25 第五章 实验结果分析 26 5.1 实验结果 26 5.2 Gambler仿真结果分析 27 5.2.1Gambler 在不同P值下的策略 27 5.2.2策略分析与评价 27 5.2.3计算误差对策略的影响 28 5.3 本章小结 29 第六章 总结与展望 30 6.1 课题总结 30 6.2 进一步的研究与展望 30 参考文献 32 致 谢 34 摘 要 强化学习是一种重要的机器学习方法。强化学习通过感知环境状态信息来学习动态系统的最优策略，通过试错法不断地与环境进行交互来改善自己的行为，并具有对环境的先验知识要求低的优点，是一种可以应用到实时环境中的在线学习方式。因此在智能控制，机器学习等领域中强化学习得到了广泛研究。 强化学习的任务就是学习从状态空间到动作空间的映射。环境对不同动作做出的评价性反馈信号决定了强化学习系统的动作选择策略。如果一个动作得到了最多的奖励，则该动作就会被采取。 本文的特点是在强化学习理论研究的基础上，以Gambler问题为仿真实验平台，对强化学习中的动态规划算法进行实现，并对不同P值下的实验结果进行分析。 关键词：强化学习，机器学习，动态规划，Gambler 作 者：李天琳 指导老师：刘 全 ABSTRACT Reinforcement learning is an important machine learning method. It could learn the optimal policy of the dynamic system through environment state observation and improve its behavior through trial and error with the environment. Reinforcement learning has the quality of low requirement for a priori knowledge and is also a kind of online learning method for the real-time environment, which is extensively explored in the field of intelligent control and machine learning. The aim of reinforcement learning is to learn the mapping from the state space to the action space. The selection policy of actions in the reinforcement learning system is determined by