CRAFT：一种用于视觉功能亲和力定位的神经符号框架-计算机科学-机器学习-神经符号框架-可解释性.pdfVIP

ProceedingsofMachineLearningResearchvol284:1–10,202519thConferenceonNeurosymbolicLearningandReasoning

CRAFT：一种用于视觉功能亲和力定位的神经符号框架

ZhouChenzzc0053@auburn.edu

JoeLinjzl0277@auburn.edu

SathyanarayananN.Aakursan0028@auburn.edu

CSSEDepartment,AuburnUniversity,AL,USA

Editors:LeilaniH.Gilpin,EleonoraGiunchiglia,PascalHitzler,andEmilevanKrieken

Abstract

我们介绍了CRAFT，这是一个用于可解释性操作可能性定位的神经符号框架，它识别场景中能够实

本现给定动作（例如，“切割”）的对象。CRAFT将来自ConceptNet和语言模型的结构化常识先验与

来自CLIP的视觉证据结合起来，使用基于能量的推理循环来迭代地改进预测。这一过程产生透明、

译目标驱动的决策，以定位符号和感知结构。在多对象、无标签设置中的实验表明，CRAFT提高了准

中确性并增强了可解释性，朝着实现稳健且值得信赖的场景理解迈进了一步。

1

v

61.介绍

2

4自主代理不仅需要推理物体是什么，还需要推理它们能做什么——它们如何能够服务于用

4

1户的某个目标。例如，当被要求“给我一些可以用来切割的东西”时，机器人必须认识到刀、剪

.

7刀甚至破碎的玻璃都提供了“切割”的功能，无论它们属于哪个类别或标签。这种功能性视角

0

5反映了吉布森式的可及性(Gibson,2000,2014)：环境提供的相对于代理能力的操作可能性。将

2这些可及性进行定位需要整合常识知识（例如，刀可以切割）、结构推理（例如，锋利度很重要）

:

v和视觉定位。纯粹基于学习的模型，如视觉语言模型（VLMs）(Radfordetal.,2021)，在这种

i

x开放世界的设置中往往表现不佳，缺乏必要的符号框架来在模糊或未见的情境中进行泛化。

r

a先前的工作在功能定位上依赖监督标签或手工知识库，这限制了其在开放世界任务中的泛

化能力(Quetal.,2024;Sawatzkyetal.,2020)。随着视觉语言模型的兴起Radfordetal.(2021)，

研究工作探索通过图像文本对齐进行零样本功能推理(Cuttanoetal.,2024)。然而，这些模型

缺乏结构化的推理，并且在模糊或杂乱的场景中遇到困难(Chenetal.,2024)。为了提高鲁棒

性，新方法使用大型语言模型通过提示提取功能属性(Tangetal.,2023)或者绕过对象标签，

通过动词进行定位(Nguyenetal.,2020)。其他人通过外部知识来源或感知动作API来增强解

释(Mavrogiannisetal.,2023)。尽管取得了进展，但在不同任务中将功能语义与视觉上下文对

齐仍然是一个具有挑战性的任务。

为了解决这些限制，我们提出了CRAFT（专注于功能可能性的组合推理），如图1所示。该

神经符号框架统一了符号先验与视觉证据，以在模糊、开放世界设置中确定功能性用途。给定

一个动词查询和一组未标记图像，CRAFT从外部知识来源（例如ConceptN