通过信息性探索学习可控的动力学-计算机科学-强化学习-可控马尔可夫链.pdfVIP

通过信息性探索学习可控的动力学

stnd

1PeterN.Loxley2FriedrichT.Sommer

SchoolofScienceandTechnologyRedwoodCenterforTheoreticalNeuroscience

UniversityofNewEnglandUniversityofCaliforniaatBerkeley

AustraliaUSA

摘要—具有可控动态的环境通常通过显式模型来理解。然较估算的CMC，并应用在短期范围内捕捉非平稳探索策

而，这样的模型并不总是可用，但有时可以通过探索环境而学习略的有限时间范围方法。

到。在这项工作中，我们研究使用一种称为预测的信息增益的信

息度量来确定环境中最有信息价值的区域以供下一步探索。应用II.理论

强化学习方法可以找到良好的次优探索策略，并导致对潜在可控

具有可控动态的环境通常使用可控马尔可夫链

动态的可靠估计。这种方法通过与几种短视的探索方法进行比较

本（CMCs）来描述。假设存在一个有限状态集，以及在每个

而得到展示。

译IndexTerms—可控马尔可夫链，预测信息增益，强化学习。状态下可用的一个有限控制集，选择控制

中将根据转移概率使环境从状态转移到状态。

1I.介绍在许多情况下没有明确的CMC可用。可以通过计算

v数据中的状态转换数量并将其存储在一个张量中来估

2具有可控动力学的环境很有趣，并且有众多应用。在算一个CMC；其中，张量分量给出了当选择控制

8

5许多情况下，我们没有可用的具体环境模型，因为这些可时从状态到状态的转换数量。然后，底层CMC的一

6控的动力学是由某个黑箱生成的；例如，一个模拟底层马个合理估计由[9]

0

7.尔可夫链的状态转移概率或某些噪声过程运动方程的计算给出。这是参数为和的狄利克雷分布的均值，表示给

0机程序。然而，通常希望甚至需要有一个明确的动力学模定数据和参数为[11]的狄利克雷先验情况下每个分布

5

2型。一种可能性是通过探索环境来学习动力学。这在动物的后验概率。

:行为中可以观察到，在这种情况下，好奇的动物会经常主要得到一个好的CMC估计需要某种形式的有信息量

v

i动寻求关于环境的信息以探索一个新环境，使它能够更好的探索，访问那些之前未曾访问的关键状态和转换。以一

x

r地为未来事件（如躲避捕食者）做好准备[1],[2]。更广泛种有信息量的方式探索环境可以使用一个称为预测的信息

a

地说，主动学习的任务是选择下一步要收集哪些数据以便增益（PIG）[9]的信息度量来实现。在每一步中，这个度量

尽可能多地学习[3]。Pfaffelhuber通过提出学习是减少缺会比较两个替代的CMC估计：当前的CMC估计和通过

失信息的过程将学习和信息论联系起来[4]。探索新的控制找到的一个更新后的估计。这两个估计之间

在这项工作中，我们将信息探索应用于学习未知环境的差异越大，预测到的信息增益就越大。PIG由下式给出

中可控