PinchBot：长周期可变形操作的引导扩散策略-计算机科学-人工智能-机器人.pdfVIP

1

PinchBot：长周期可变形操作的引导扩散

策略

AlisonBartsch,ArvindCar,AmirBaratiFarimani

摘要—陶器制作是一种复杂的艺术形式，需要灵巧、精

确和细致的动作来慢慢将一块泥土塑造成有意义且经常有用

的三维目标形状。在这项工作中，我们旨在创建一个仅使用

夹捏动作的机器人系统来制造简单的陶器目标。这项夹捏陶

艺任务使我们能够探索高度多模态和长期可变形操作任务中

本的挑战。为此，我们介绍了PinchBot，这是一种结合了预训

译练的3D点云嵌入、任务进度预测和碰撞约束的动作投影的

目标条件扩散策略模型，能够成功地制造各种简单的陶器目

中标。有关实验视频和演示数据集的访问，请访问我们的项目网站：

1//pinchbot/home。

v

6

4

8I.介绍

7

1陶器制作是一种复杂的艺术形式，需要一系列精

.

7准、灵巧而精细的动作来将一块没有特定含义的泥巴逐

0

5渐塑造成具有意义且经常有用的三维结构。在这项工

2作中，我们特别关注用手捏制陶器的方法，在这种方法

:

v中，艺术家不使用工具或陶轮就能创造作品。这种基于

i

x

r手捏的陶艺任务是一项非常困难和长时间可变形物体图1.我们训练的PinchBot策略的完整陶艺雕塑序列。

a

操作的任务，它使我们可以探索和发展能够可靠地与可

变形物体互动的机器人系统。可变形物体被认为是难作中，我们认为手捏陶艺任务是一个真正的长时间跨度

以操控的，因为它们存在状态表示[1],[2]、自我遮挡的任务，将进一步测试我们系统处理这些复杂长时间目

[3]–[5]、交互引起的复杂状态变化[6],[7]和通常操作任标的能力。此外，手捏陶艺任务没有明确正确的动作顺

务本身的长时间跨度等开放性挑战。现有的可变形物体序。许多相同动作的组合可以创建出预期形状，但并非

成型工作往往集中在较短的“长时”任务上，如在泥巴所有这些动作的组合都能创造出目标形状。高模态性的

中制作字母形状[8]–[13]，或揉面团、折叠和切割面团轨迹结合任务本身的长期性质将使我们能够评估和基

[14]–[20]。尽管这些目标具有一定的难度，但它们通常准化扩散政策模型变体[11],[21],[22]完成任务的能力。

只需要不到十个动作就能从原始泥块形态创建出来。这在这项工作中，我们介绍了PinchBot，这是一种基

让计划框架下的任务变得更容易，因为需要优化的轨迹于目标条件的扩散策略变体，它采用预训练的3D点云

时间范围相对较短。同样地，这也简化了政策学习面临嵌入模型、任务进度预测和碰撞约束投影来仅通过捏压

的挑战，因为政策必须学习的动作序列较短。在这项工动作成功创建各种陶碗。我们提出，这种捏制陶器的任

A.Bartsch,A.Car,andA.B.FarimaniarewiththeDe-务是一个真正的长期可变形操作任务，使我们能够更好

partmentofMechanicalEngineeringatCarnegieMellonUniversity,地评估学习框架。这项工作的关键贡献如下：

Pittsburgh,PA,15213,USA(e-mail:abartsch@,

acar@,barati@)我们提供了一个公共数据集，该数据集通过在

2

图2.硬件设置。a)我们实验的工作空间由4个IntelRealSenseD415摄像头和一个放置陶土的高架平台组成。b)用于