利用深度学习从 RGB-D 视觉和深度机器人传感器估算物体物理属性-计算机科学-深度学习-机器人.pdfVIP

利用深度学习从RGB-D视觉和深度机器人传感器估算物体物理

属性

RicardoPedreirasCardosoPlinioMoreno

InstitutoSuperiorTécnicoInstituteforSystemsandRobotics

UniversityofLisbonInstitutoSuperiorTécnico

Lisboa,PortugalUniversityofLisbon

ricardoreisc@tecnico.ulisboa.ptLisbon,Portugal

plinio@isr.tecnico.ulisboa.pt

本Abstract—惯性质量在机器人应用如物体抓取、操作和模辨率的厚度掩模以提高估计准确性[1]。然而，在实践

拟中起着至关重要的作用，为规划和控制提供了强大的先验信中这些方法几乎没有用处，因为它们要求机器人首先

译息。在交互前准确估计物体的质量可以显著提升各种机器人任识别出他们希望与其交互的对象的边界框，这是一个

中务的性能。然而，仅使用视觉传感器进行质量估计是一个相对耗时的过程，通常需要从物体周围多个视角进行观察。

较少探索的领域。本文提出了一种结合深度图像中的稀疏点云

1数据与RGB图像来估算物体质量的新方法。我们评估了一系深度传感器可以避免这一限制，因为它们可以从度量

v

9列点云处理架构以及仅使用RGB的方法。为了克服训练数据深度中消除对象比例的歧义。但是，之前的工作很少

2有限的问题，我们使用ShapeNetSem3D模型创建了一个合成

0数据集，并通过Kinect相机模拟了RGBD图像。这些合成数直接使用它们，主要是由于集成深度信息、RGB图像

5据用于训练一个生成密集深度图的图像生成模型，然后我们将和质量的数据集稀缺。因此，当前没有模型能够充分

0

7.该模型用于增强现有的带有质量值的图像数据集。我们的方法利用深度数据与图像数据的结合，在广泛的对象范围

1

0在所有评估指标上显著优于现有基准。数据生成以及深度估内进行质量估计。

23

5计器和质量估计器的训练均可在线获取。

2为了解决这些限制，我们建议通过增加深度信

:

vI.介绍息来扩充现有的RGB-质量对数据集。我们首先在一

i

x规划如何抓取物体得益于在与物体物理接触前准个由RGB和深度图像对组成的合成数据集上微调

r

a确估算其质量。虽然可以直接使用秤来测量质量，但GLPDepth模型[19]，然后将深度估计应用于整个数

在动态或非结构化的环境中，这种方法是不切实际的，据集。我们开发了一种多模态架构，该架构以RGB图

在这些环境中，往往无法在抓取前进行物理互动。相像和稀疏点云作为输入，并输出质量预测（千克）。我

反，利用摄像机提供的视觉信息来估算物体的质量具们提出了几种架构的变体，并在扩充的数据集上训练

有显著的优势。基于视觉的方法允许机器人在没有先它们。我们还探讨了同时训练模型进行点云重建是否

前接触的情况下预测质量，从而在抓取或提升物体时能提高其质量估计能力。我们的结果显示，我们的方

能够更快地做出更适应性的决策。此外，这种方法更法在所有评估指标上显著优于先前的方法，并且同时

加灵活，因为它不需要专门的硬件如力传感器或秤。执行点云重建不会显著改变模型的预测能力。

仅从RGB数据进行质量估计的一个主要挑战在