硬件高效的 TinyML 神经符号 AI 应用中的可计算概率推理-计算机科学-神经符号人工智能-概率推理.pdfVIP

硬件高效的TinyML神经符号AI应用中的可计算

概率推理

JelinLeslin,MartinTrapp,MartinAndraud

AaltoUniversity,DepartmentofElectronicsandNanoengineering{firstname.lastname}@aalto.fi

AaltoUniversity,DepartmentofComputerScience{firstname.lastname}@aalto.fi

UCLouvain,ICTEAM,Belgium{firstname.lastname}@uclouvain.be

摘要—神经符号人工智能（NSAI）最近出现，旨在缓解与

深度学习（DL）模型相关的局限性，例如量化其不确定性或使

用显式规则进行推理。因此，TinyML硬件需要支持这些符号模

型，才能将NSAI带入嵌入式场景。然而，尽管符号模型通常很

本紧凑，但它们的稀疏性和计算分辨率与低分辨率和密集的神经模

译型形成对比，这给资源受限的TinyML硬件带来了挑战，严重限

制了可以计算的符号模型的大小。在这项工作中，我们通过利用

中紧密的软硬件集成来消除这一瓶颈，并提出一个完整的框架，用

1于使用TinyML硬件计算NSAI。我们专注于使用易于处理的

v概率电路（PCs）实现的符号模型，这是一种流行的概率模型，适

图1.提出的框架概述

1用于硬件集成。该框架：（1）训练一类专门针对符号任务的硬件

4高效确定性的PCs；（2）使用我们的根压缩技术，对该PC

1

5进行压缩，直到它可以在TinyML硬件上计算，且精度损失最

0小；以及（3）在TinyML硬件上部署完整的NSAI模型。与用需要能够高效执行这种符号推理的硬件实现。在这方面，

7.未经压缩的PC所需的64b精度基线相比，我们的工作流程可虽然深度神经网络已经大规模成功地整合到了TinyML[8]

0在FPGA上实现显著的硬件减少（FF减少高达82.3%，LUT中，但符号推理仍然具有挑战性。这主要是由于符号任务

5减少52.6%，Flash使用量减少18.0%），并在ESP32微控制模型的本质：与深度神经网络相比，计算分辨率要高得多

2

:器上实现平均推理速度提升4.67倍。

v（某些PM需要64位浮点数或更高）；并且结构通常是稀疏

i的（例如树状结构），主要由逐元素操作主导，而不是像深

xI.介绍

r度神经网络那样的密集向量-矩阵乘法。这提出了一个核心

a

深度学习和深度神经网络（DNN）已经成为嵌入式AI挑战：如何在低精度、资源受限的TinyML硬件上可靠地

应用的标准，结合了它们的准确性和硬件计算特性。然而，执行这些可能复杂的符号模型？在这项工作中，我们提出

尽管DNN对于感知任务非常强大，但它们经常缺乏明确了一种完整的框架来解决TinyMLNSAI（图1）的这一挑

的结构来表示领域知识，并且在校准不确定性估计和提供战，并在三个步骤中实现：

稳健保证方面可能会遇到困难[1],[2]。拥有这样的保证对(1)寻找适合硬件的TinyMLPM。这里，我们从贝叶

于嵌入式应用至关重要，例如关于可解释性或安全关键方斯网络（BNs）开始，它提供了一种强大的方式来编码领

面的考虑。为了实现这些目标，一种可能的解决方案是神域知识和因果关系[9]。由于使用BNs进行精确推理计算

经符号AI（NSAI）。NSAI旨在结合DNN的数据驱动学习成本高昂，我们将它们编译