动态环境下的多智能体强化学习中的因果知识迁移-计算机科学-多智能体强化学习-因果关系-迁移.pdfVIP

动态环境下的多智能体强化学习中的因果知

识迁移

KathrinKorte*,ChristianMedeirosAdriano,SonaGhahremani,HolgerGiese†††

ITUniversityofCopenhagen,DenmarkHassoPlattnerInstitute,UniversityofPotsdam,Germany†

Email:kort@itu.dk*,{firstname.lastname}@hpi.de†

摘要—[背景]多智能体强化学习（MARL）在需要智能体究[7],[10],[18],[30]，目前的转移方法，如复制策略或

学会协调行为的环境中取得了显著的成功。然而，在目标不断价值函数，在应用于新环境或改变的动力学时往往表现

变化的非平稳环境中，跨智能体的知识迁移仍具挑战性。[问题]出脆弱性。原因是它们通常缺乏进行通用推理所需的语

MARL中的传统知识转移方法难以泛化，智能体往往需要昂贵

义结构，并且没有利用代理经验中的深层模式。必威体育精装版技

的重新训练来适应环境。[方法]本文介绍了一种因果知识迁移框

本术MARL中大多数迁移学习方法都基于无模型RL范

架，使RL智能体能够学习并分享在非平稳环境中路径的紧凑

译因果表示。当环境变化（新障碍出现）时，智能体之间的碰撞需式，这些方法通过与环境的直接交互来学习行动价值或

中要自适应恢复策略。我们将每次碰撞建模为一个因果干预，它被策略。虽然在狭窄设置下有效，但这些方法往往缺乏解

1实例化为一系列恢复操作（宏），其效果对应于绕过障碍物并增释性结构，并且在变化环境中难以实现样本效率。最近

v加实现智能体目标（最大化累积奖励）机会的因果知识。此恢复的因果表示学习研究显示，编码因果关系可以增强泛

6

4操作宏在线从第二个智能体传输，并以零样本方式应用，即无需化和稳健性[14]。因果模型提供了一个原则性的框架来

8重新训练，只需通过查询包含局部上下文信息（碰撞）的查找模

3型。[结果]我们的发现揭示了两个关键见解：(1)具有异质目标区分稳定的知识，例如障碍的影响，与特定上下文的策

1.的智能体在适应新环境时能够弥合随机探索与完全重新训练策略，从而支持更可靠的迁移[2],[3]。然而，在多智能体

7

0略之间大约一半的差距；(2)因果知识转移的影响取决于环境复强化学习中应用因果推理仍然相对未被探索。现有的少

5杂性和智能体异质目标之间的相互作用。数方法将单个智能体的经验视为结构化实验中的数据

2IndexTerms—多智能体，自主性，因果关系，迁移

:点，从中可以估计和转移因果效应[6]。

v

i

xI.介绍方法本文提出了一种适用于离散格子世界中具有动态

r

a上下文智能行为的基础机制是内部对世界的表征，这种配置和部分重叠目标结构的MARL因果迁移学习框架。

表征可以替代直接的感官输入，并基于学习到的规律支代理独立探索并遇到影响任务完成的干扰（碰撞）。这

持规划、预测和行动。[1]然而，在适应不断变化的世界些干扰被视为结构因果实验，从而发现恢复宏命令——

和目标[5]的过程中，强化学习（RL）代理[23]可能会预先计算出能够对抗特定环境依赖效应的战略。存储在

遭受灾难性遗忘[12]或负面迁移[28]。作为一种缓解措一个基于上下文索引的查找模型中，这些宏使得零样本

施，RL代理可以学习内部表示，这些表示编码了世界迁移成为可能：后续代理可以在类似环境中立即应用它

的因果结构，这种结构更加稳定（对扰动不变），从而们，无需额外训练，从而快速适应新环境和异质目标。

使代理能够预测行动结果并进行反事实推理[9]。该方法还支持MARL中的去中心化协调