FAFU机器学习10-1 Reinforcement Learning课件.pptxVIP

Foundations of Machine LearningReinforcement Learning2023/11/4Reinforcement LearningLesson 10 - 1 强化学习（Reinforcement learning）概述K-摇臂赌博机贝尔曼（Bellman）方程MDP（Markov decision process）问题建模基于价值迭代（Value iteration）的求解方法策略迭代（Policy iteration）的求解方法比较Value iteration和Policy iterationQ-learning2023/11/4Reinforcement LearningLesson 10 - 2 强化学习（Reinforcement learning）概述强化学习诞生于上世纪 80 年代，最初应用于制造业，特别是工业机器人的自动控制，近年来随着其他机器方法的成熟开始应用于更加”智能”的场景，除了大名鼎鼎的 Alpha GO，google deepmind 团队还应用强化学习实现了计算机自主学习玩 Atari 系列电子游戏并超越了人类玩家的水平。2023/11/4Reinforcement LearningLesson 10 - 3 强化学习（Reinforcement learning）概述强化学习（Reinforcement learning）的基本内涵是将问题用代理（Agent，有的地方也将其翻译为智能体）和环境进行建模。其中代理能够对环境执行一些特定的动作a∈A，从而到达某个状态s∈S，然后我们就可以根据该状态为代理赋予特定的奖励r。强化学习的基本思想如下图所示：2023/11/4Reinforcement LearningLesson 10 - 4 强化学习（Reinforcement learning）概述强化学习（Reinforcement learning）的基本内涵是将问题用代理（Agent，有的地方也将其翻译为智能体）和环境进行建模。其中代理能够对环境执行一些特定的动作a∈A，从而到达某个状态s∈S，然后我们就可以根据该状态为代理赋予特定的奖励r。强代理的目标是最大化未来的奖励总和，它通过将未来可获得的最大奖励添加到当前的奖励来实现这一点（类似于贪心算法），从而通过潜在的奖励影响当前行动。这个潜在奖励（Value）是从当前状态开始的所有未来动作的奖励期望值的加权和。2023/11/4Reinforcement LearningLesson 10 - 5 K-摇臂赌博机探索与利用与一般监督学习不同，强化学习任务的最终奖赏是在多步动作之后才能观察到，这里我们不妨先考虑比较简单的情形:最大化单步奖赏，即仅考虑一步操作.需注意的是，即使在这样的简化情形下，强化学习仍与监督学习有显著不同，因为机器需通过尝试来发现各个动作产生的结果，而没有训练数据告诉机器应当做哪个动作.欲最大化单步奖赏需考虑两个方面:一是需知道每个动作带来的奖赏，二是要执行奖赏最大的动作.若每个动作对应的奖赏是一个确定值，那么尝试一遍所有的动作便能找出奖赏最大的动作.然而，更一般的情形是，一个动作的奖赏值是来自于一个概率分布，仅通过一次尝试并不能确切地获得平均奖赏值.单步强化学习任务对应一个理论模型，即“ K-摇臂赌博机”2023/11/4Reinforcement LearningLesson 10 - 6 K-摇臂赌博机探索与利用若仅为获知每个摇臂的期望奖赏，则可采用“仅探索” (exploration Only)法:将所有的尝试机会平均分配给每个摇臂(即轮流按下每个摇臂)，最后以每个摇臂各自的平均吐币概率作为其奖赏期望的近似估计.若仅为执行奖赏最大的动作，则可采用“仅利用 (exploitation-only) 法:按下目前最优的(即到目前为止平均奖赏最大的)摇臂，若有多个摇臂同为最优，则从中随机选取一个.显然，仅探索法能很好地估计每个摇臂的奖赏，却会失去很多选择最优摇臂的机会;仅利用法则相反，它没有很好地估计摇臂期望奖赏，很可能经常选不到最优摇臂.因此，这两种方法都难以使最终的累积奖赏最大化.2023/11/4Reinforcement LearningLesson 10 - 7 K-摇臂赌博机探索与利用ε-贪心法ε-贪心法基于一个概率来对探索和利用进行折中:每次尝试时，以ε 的概率进行探索，即以均匀概率随机选取一个摇臂;以1- ε的概率进行利用，即选择当前平均奖赏最高的摇臂(若有多个，则随机选取一个).Q(k) 记录摇臂k 的平均奖赏2023/11/4Reinforcement LearningLesson 10 - 8 K-摇臂赌博机探索与利用ε-贪心法Softmax 算法Softma