EdgeVLA: 高效的视觉语言动作模型-计算机科学- 视觉语言模型-机器人.pdfVIP

EdgeVLA:高效的视觉语言动作模型

PawełBudzianowski,WesleyMaa,MatthewFreed,JingxiangMo,WinstonHsiao

AaronXie,TomaszMłoduchowski,VirajTipnis,BenjaminBolte

Abstract—视觉语言模型（VLMs）作为解决机器人数据著的推理速度和效率提升。我们的方法围绕两个关键

稀缺挑战的一种有前景的方法，使可泛化的视动控制策略得以创新：首先，我们致力于通过架构修改来实现显着加

发展。虽然像OpenVLA这样的模型展示了这种范式的潜力，

速，同时保持模型性能。具体来说，通过消除末端执行

在资源受限的移动操作系统上部署大规模VLM仍然是一个重

大障碍。本文介绍了EdgeVLA（EVLA），这是一种旨在显器预测的自回归要求并利用SLM的效率。我们挑战了

著提高视觉语言动作（VLA）模型推理速度的新方法。EVLA用于预测末端执行器位置的自回归方法，证明了联合

保持了这些模型的表现力，同时在边缘设备上实现了实时性能。控制——即整个位置的同时预测——不会减弱模型的

我们通过两项关键创新实现这一点：1)消除了末端执行器位置

编码能力。这一修改带来了倍的推理速度提升，对

本预测的自回归要求，使推理速度提高了7倍；2)利用小型语言

译模型（SLMs）的效率，在显著降低计算需求的情况下展示了于边缘设备上的实时机器人控制至关重要。

与更大模型相当的训练性能。我们的初步结果显示，EVLA实其次，我们探讨了最近开发的小型大型语言模型

中现了与OpenVLA相似的训练特征，同时在推理速度和内存效（SMLs），如Qwen2[17]、Phi[1]或Gemma[13]的潜力。

1率方面提供了显著提升。我们发布了模型检查点和训练代码库这些模型通过显著减少计算足迹来实现与更大规模模

v以促进进一步的研究。

9型相当的表现。我们提出的架构EVLA包含了一个预

4

0I.介绍训练语言模型Qwen2-0.5B，融合了两个视觉编码器

4SigLIP[19]和DINOv2[12]，总共添加了10亿个参数。

1鲁棒且通用的操作策略的发展长期以来受到大规

.EVLA保持了与比其大倍的模型相当的训练性能，

7模、多样化具身数据集有限可用性的阻碍。视觉语言

0同时显著减少了硬件需求。

5模型（VLMs）[11],[8]为这一挑战提供了一个有说服

2力的解决方案。通过利用大量现成的图像-文本数据，

:II.相关工作

vVLMs可以学习丰富的世界表示并被适应用于视动控

i

x基于学习的方法在移动操作中正开始达到或超越

r制任务。开源模型如OpenVLA[9]已经证明了这种方

a传统模型控制系统的性能[6]。我们可以大致将这些

法的有效性，在各种机器人操作任务中展示了令人印

方法分为从零训练的系统和在基础模型之上微调的

象深刻的表现。然而，在资源受限的移动平台上部署

系统。

这些大规模的VLMs（通常参数量超过数十亿），比如