人工智能通才： 利用强化学习掌握 Generals.io-计算机科学-人工智能-多智能体强化学习.pdfVIP

人工智能通才：

利用强化学习掌握Generals.io

11,2

MatejStraka,MartinSchmid

strakammm@,schmidm@kam.mff.cuni.cz

CharlesUniversity,Prague,CzechRepublic

EquiLibreTechnologies,Inc.

本Abstract

译我们引入了一个基于Generals.io的实时策略游戏环境，该游戏每周有数千名活

中跃玩家。我们的环境完全兼容Gymnasium和PettingZoo，并且能够在普通硬件上

2每秒运行数千帧。我们还提供了一个参考代理，该代理通过监督预训练和自我

v对弈进行训练，在单一H100GPU上仅36小时后就达到了1v1人类排行榜的前

5

20.003%。为了加速学习，我们整合了基于潜力的奖励塑造和记忆特性。我们贡献

8的一个模块化RTS基准和一个竞争力基线代理提供了一个既可访问又具有挑战

6

0性的平台，用于推进多智能体强化学习研究。记录的代码连同示例和教程一起可

.

7以在/strakam/generals-bots获得。

0

5

2

:1介绍

v

i

x

r游戏在现代强化学习（RL）的发展中发挥了核心作用，作为推进人工智能领域的关键基准。RL

a

已经应用于各种类型的游戏，从早期的单智能体控制的成功案例如Atari(Mnihetal.,2013)，

到通过自我博弈在完美信息对抗棋盘游戏中取得的重大里程碑，例如围棋和国际象棋，由

AlphaZero(Silveretal.,2017)为代表。与此同时，在不完美信息游戏中，RL也取得了进展，

比如扑克(Moravíketal.,2017;BrownSandholm,2018)和Stratego(Perolatetal.,2022)，这

些游戏需要在不确定性中进行推理和战略欺骗。以《外交》(MetaFundamentalAIResearch

DiplomacyTeam,2022)等游戏为代表的独特类别中，RL被用于那些战略联盟和口头沟通是

关键游戏机制的环境中，利用大型语言模型（LLMs）来促进这种交流。另一个RL研究的

重要场所是大规模、实时的多智能体视频游戏，在部分可观测性下，这体现在为StarCraft

II(Vinyalsetal.,2019)和DotaII(Berneretal.,2019)开发的强大系统上。这些多样化的游戏环

境共同提出了重大挑战——从不完全信息下的低级控制和长期规划到复杂的多智能体协调

——推动了强化学习和博弈论的重要进展。

我们提出一个基于浏览器游戏Generals.io1的实时策略环境。我们的环境旨在提供一个有趣

的基准，其挑战性与大型战略视频游戏如StarCraftII相当，同时保持轻量级以允许在中等硬

1https://generals.io

1

件上进行强化学习实验。此外，Generals.io维护着活跃的社区，每周有数千名参与者跨多种

游戏格式参与其中。每种格式都为顶级排名的玩家举办季度锦