使用辅助起始状态分布的加速在线强化学习-计算机科学-在线强化学习.pdfVIP

使用辅助起始状态分布的加速在线强化学习

AmanMehraAlexandreCapone

RoboticsInstituteRoboticsInstitute

CarnegieMellonUniversityCarnegieMellonUniversity

Pittsburgh,PA15213Pittsburgh,PA15213

amanmehr@andrew.cmu.eduacapone2@andrew.cmu.edu

JeffSchneider

RoboticsInstitute

CarnegieMellonUniversity

本Pittsburgh,PA15213

译jeff4@andrew.cmu.edu

中

1

vAbstract

6

0

6在线强化学习（RL）中长期存在的问题是确保样本效率，这源于无法高效

4地探索环境。大多数关于有效探索的尝试都是在从零开始学习且没有可用

0

.先验信息来引导学习的情况下处理这个问题。然而，这些方法未能利用可以

7重置到任意状态的专家演示和模拟器。这些便利是宝贵的资源，提供了巨大

0

5的潜力来指导探索并加速学习。在这篇论文中，我们探讨了少量的专家演示

2和允许任意重置的模拟器如何能够加快在线RL中的学习。我们发现，使用

:

v一种可能与底层马尔可夫决策过程的真实起始状态分布不同的辅助起始状

i

x态分布进行训练可以显著提高样本效率。我们发现，利用安全性的概念来指

r

a导选择这种辅助分布显著加速了学习。通过将剧集长度信息作为一种实现

这一概念的方式，我们在稀疏奖励难探索环境中展示了最先进的样本效率。

1介绍

在线强化学习算法通过试错的方式，在没有归纳偏见和领域专业知识的情况下促进通用行

为的学习。通过从环境交互中学习，这些方法有可能超越监督学习替代方案的性能，在诸如

Atari[15]和围棋[23]等任务上达到超人类水平的表现。尽管如此成功，这些算法在高效探索

环境方面仍然面临挑战，导致了较长的训练时间[18,3,24]。

已经有很多工作致力于通过促进寻求新奇性和状态空间覆盖[18]和[4,7,22]的探索行为来

提高在线RL的效率。尽管这些方法有可能学习稳健的策略，但由于缺乏任务导向的探索线

索[14]以及倾向于忘记如何重新访问有前景的探索前沿[3]，使得它们在解决困难探索任务

时效率低下。此外，这些方法设计用于在没有任何其他先验信息的情况下提高探索效率。因

此，当专家数据或具有任意重置条件的模拟器可用时，这些方法未能充分利用这些额外资源

来加速探索。

38thWorkshoponAligningReinforcementLearningExpe