像人类婴儿一样评估机器人：一个关于学习双足行走的案例研究-计算机科学-人工智能-机器人.pdfVIP

像人类婴儿一样评估机器人：一个关于

学习双足行走的案例研究

DevinCrowley,WhitneyG.Cole,ChristinaM.Hospodar,RuitingShen,KarenE.Adolph,andAlanFern

Abstract—通常，训练好的机器人控制器是通过相对不系习到的控制器，典型的训练、测试和评估方法无法揭

统的方案进行训练，并使用诸如平均累积奖励等粗粒度的结果示不同的训练方案如何影响所学行为的复杂细节，比

指标进行评估。这种典型的方法有助于比较学习算法，但对不

如在接近和导航不同地形时的步伐调整。例如，两个

同训练方案的影响提供的见解有限，并且对于所学行为的丰富

性和复杂性理解不足。类似地，人类婴儿和其他动物是通过不具有相似奖励函数的不同控制器，在走下陡峭斜坡时

本系统的方案“训练”的，但是相比之下，发展心理学家在高度控可能会表现出非常不同的行为。一个控制器可能利用

制的实验中使用细粒度的指标（如成功、行走速度和预期调整）其视觉并在接近斜坡时前瞻性地调整步伐，而另一个

译来评估它们的表现。然而，由于培训和测试婴儿的实际限制，

控制器则可能在踏上斜坡后才做出反应性调整。

中对人类婴儿学习行为的研究受到限制。在这里，我们提出一个

案例研究，将发展心理学的方法应用于模拟双足机器人Cassie

1

v的学习行为研究。借鉴婴儿走路的研究，我们系统地设计了强受婴儿发育研究的启发，我们倡导采用更加系统

6化学习训练方案，并在类似于用于婴儿的模拟环境中测试了所的方法进行训练和测试，并对学习到的行为进行更详

2得到的控制器——但没有实际的限制。结果显示了不同训练方

4案的行为影响以及与正在学习行走的婴儿相比，Cassie学习行细的评估。为了促进这一方法的应用，本文介绍了一个

6

0为发展的新见解。这种跨学科的婴儿-机器人方法为未来旨在系案例研究，将婴儿运动发展的研究成果应用于Cassie

7.统地测试训练对复杂学习机器人行为发展的影响的研究提供了双足机器人中学习的视觉引导运动控制器。具体来说，

0灵感。我们使用了与婴儿研究中相同的实验装置（斜坡、落

5

2I.介绍差、间隙和桥梁）模拟测试环境，并进行了类似的实

:

v验和分析[1],[2]（参见图1）。

i考虑一个由视觉引导的双足机器人，在模拟环境

x

r中训练以在具有不同高程和路径障碍物的复杂地形上

a仿真测试消除了真实机器人实验带来的约束，允

行走。通常，训练方案和测试情况没有系统地进行操

许对不同的训练方案进行细致的比较。基于仿真的工

作，并且性能评估报告只包含粗略的指标（例如，多个

作通常会伴随一种从仿真到现实的转移方法，以生成

测试环境中的平均累计奖励）。尽管有助于大致排名学

在现实世界中工作的控制器。然而，解决仿真与现实

*ThisworkwassupportedunderNSFgrantnumber2321851.之间的差距与此项研究的目标是正交的。我们在仿真

DevinCrowleyiswiththeDepartmentofElectrical环境中进行测试而不转移到现实世界，因为我们