Figure×OpenAI：端到端的大语言-视觉模型让“机器”变“人”.docxVIP

Figure和OpenAI合作后，产品迭代迅速

Figure必威体育精装版视频表明大模型介入人形机器人后，所带来的极快升级。近日人形机器人公司Figure公布其与OpenAI合作13天后的机器人必威体育精装版视频，视频中OpenAI将其ChatGPT

强大的语音交互和理解反馈能力移植到Figure01上，Figure01能够1)理解区分面前的场景对象；2)动作上区分苹果和一堆纸团；3)理解自身行为的目的；4)判断下一步的响应动作；5)评价自身行为；6)手指灵活度足够且动作较快。

大模型介入有望帮助人形机器人打开C端市场。通过OpenAI大模型的训练后，Figure01机器人能够从语义层面理解世界，做到理解和回应用户的需求和指令，并展现出了较强的自主能力。我们认为，相对出色的运动或执行能力和特定场景下的模型训练，能够使得人

形机器人在工业某个单一场景内实现量产应用，而大模型所赋予的较为广泛和强大的交互能力，有望帮助人形机器人打开C端应用市场。

图1：Figure01机器人正在分拣纸团

资料来源：Figure，

端到端的大语言-视觉模型是本次升级的核心，从语言输入开始，模型接管了一切处理，直接输出语言和行为结果，而不是中间输出一些结果，再加载其他程序处理这些结果。其中

Open的大模型提供负责提供视觉推理和语言理解，而Figure的神经网络提供快速、低水平、灵巧的机器人动作，机器人所有行为均源自于学习过的。

Figure01的语言交互流程：研究人员将机器人摄像头中的图像输入、机载麦克风捕获的语音中的文本转录到由OpenAI训练的，可以理解图像和文本的多模态模型(VLM)中，由该

模型处理对话的整个历史记录，得出语言响应，然后通过文本到语音的方式将其回复给人类。

Figure01的动作处理流程：大模型能力可以使机器人拥有短期记忆，以便联系和理解前后的行为关系。动作拆解包括首先，互联网预训练模型对图像和文本进行常识推理，以得出高级计划；其次，大模型以200hz的频率生成的24-DOF动作(手腕姿势和手指关节角度)，

充当高速设定点，供更高速率的全身控制器跟踪，以确保安全和稳定。

图2：OpenAI大模型对于神经网络决策和身体控制的加持

资料来源：Figure，FounderPark，

在性能升级方面，2023年10月Figure01可以实现“动态双足行走”；2024年1月7日Figure01可以自主操作咖啡机，完成打开机盖、放入咖啡包、按下开始按钮等动作，无需任何远程遥控；2024年2月27日Figure01可以实现自主完成搬起并转移物体动作；2024年3

月Figure01可以实现场景识别和完成指令、判断下一步动作、评价自身行为，并呈现出灵活的手指操作能力。

图3：Figure大事记

2023年3月

2023年10月

2024年1月7日

2024年1月18日

事件：Figure宣布与汽车巨头BMW达成一项重要协议，计划于2024年在南卡罗来

纳州斯巴达堡的BMW工厂开始部署Figure01人形机器人。

2024年2月23日 2024年2月27日 2024年3月9日事件：Figure发布人形机

器人产品Figure01宝马

车间”实训“视频；视频展示了Figure01自主完成搬起并转移物体动作。

咖放入动采用端到事件：Figure发布Figure01行走的视频，实现了

咖

放入动

采用端到

事件：Figure发布Figure

01行走的视频，实现了

“动态双足行走”。

其他：还具备自主地捡东西、搬运物品和自主导航的能力。

事件：Figure发

布demo渲染视

频，代号Figure01。

端的学习模式，通过神经网

络来处理和分析视频数据，具备自我纠错能力。

事件：FigureAI新一轮融资中募集约6.75亿美元。这轮融资，投前FigureAI的公司估值已有约20

亿美元；

此轮融资，一众硅谷大佬参与投资，包括微软、OpenAI、亚马逊、英伟达、英特尔、LG、三星。

事件：Figure发布Figure01视频，可完成指定动作并拥有理解、处理和评价能力。

核心：1）理解区分面前的

场景对象；2）动作上区分

苹果和一堆纸团；3）理解自身行为的目的，4）判断家务活应该怎么做；5）评价自身行为；6）手指灵活度足够且动作较快。

资料来源：Figure，Robot猎场备忘录，机器人头条，

Figure：创始人经验丰富，技术团队背景强

2022年Figure成立，目标开发通用性人形机器人

Figure由BrettAdcock于2022年创立，