基于 Spot 的高性能强化学习-使用分布性度量优化模拟参数-计算机科学-强化学习-优化算法.pdfVIP

基于Spot的高性能强化学习：使用分布性度量优化模拟参数

A.J.Miller,FangzhouYu,MichaelBrauckmann,andFarbodFarshidian

Abstract—本工作概述了高性能强化学习策略部署的技

术细节，使用Spot强化学习研究员开发工具包以访问低级

电机功能在波士顿动力公司的Spot上。这代表了首次公开

演示在Spot硬件上部署端到端强化学习策略，训练代码通过

NVIDIAIsaacLab公开提供，并且部署代码可通过波士顿

动力公司获得。我们利用Wasserstein距离和最大均值差异

来量化在硬件和仿真中收集的数据的分布不相似性以测量我们

的模拟到现实差距。我们将这些度量用作协方差矩阵适应进化

策略的评分函数，以优化Spot无法测量或难以测量的模拟参

本数。我们的建模和训练过程产生了能够实现多种步态（包括飞

行阶段）的高质量强化学习策略。我们部署了速度超过5.2米/

译秒的策略，超过了Spot默认控制器最大速度的三倍，并且具

中备对滑动表面的鲁棒性、干扰抑制以及前所未有的整体敏捷性。

我们详细介绍了我们的方法并发布了代码以支持未来使用低级Fig.1.在平直轨道上以5.2米/秒的速度飞行时出现跳跃。

3

vAPI在Spot上的工作。

7化学习策略的一个示例。

5I.介绍

8

7

1波士顿动力的Spot[1]因为开门[2]、在工厂工作我们的贡献如下：

.

4[3]以及其多样的舞蹈[4]而闻名于世。它激发了公众1)一种受生成学习技术启发的评估程序，用于测量

0

5的好奇心和机器人专家关于腿式机器人在未来日常生模拟到现实的差距以及一种选择模拟器参数的

2活中的可能形态的想象力。随着其软件开发工具包[5]优化程序

:

v的发布和硬件平台的商业化推出，Spot为高度灵活的2)斯pot硬件上的首个端到端RL控制策略及开源

i

x机器人迈出了成功应用于现实世界的商业应用的第一训练代码

r

a步。在今年早些时候的另一个步骤中，波士顿动力展3)我们控制策略的扩展能力演示，包括比默认Spot

示了他们首次在其控制堆栈[6]中引入强化学习（RL）控制器高出三倍以上的最大前向速度。这些结果

技术。的视频可以在网上找到。1

在此基础上，我们在本研究中展示了首次在Spot

硬件上训练并部署完全学习的控制策略的过程，描述II.相关工作

了仅使用机载传感的模拟到现实差距量化程序，并基过去十年已经开发了许多高度复杂的全电动四足

于此量化提供了仿真参数优化过程。我们通过训练一机器人，如Spot。这些包括麻省理工学院的Cheetah

个策略来证明我们的流程的能力，以推动Spot的极3[7]、意大利技术研究院的HyQ[8]以及ANYbotic公

限。我们展示了我们的端到端策略的新速度、敏捷性司的ANYmal[9]。传统上，这些系统由基于模型的优

和鲁棒性。我们将我们的建模、训练和部署描述为研化方案控制，如模型预测控制（MPC）[10],[11]和全

究人员和工程师在Spot上训练并部署他们自己的强身控制（WBC）[12]。但近年来，强化学习已经证明

了自己是一种可靠、高性能且稳健的工具，在为现实

RAIInstitute,Cambridge,MA02139,USA: