一种优化可微逻辑门网络中连接的方法-计算机科学-计算机科学-人工智能-反向传播-神经网络硬件-类脑计算.pdf

一种优化可微逻辑门网络中连接的方法

WoutMommen,LarsKeuninckx,MatthiasHartmann,PietWambacq

NovelAlgorithmsandComputeSystems(NACS)

imec,Leuven,Belgium

Email:Wout.Mommen@imec.be

ElectronicsandInformatics(ETRO)

VrijeUniversiteitBrussel(VUB),Brussels,Belgium

Email:Piet.Wambacq@vub.be

本摘要—我们介绍了一种用于深度可微逻辑门网络（LGNs）最近，已经清楚地表明可以直接训练布尔门电路

译连接部分优化的新方法。我们的训练方法利用了每个门输入子集网络，即数字硬件的基本构成是可能的[11]。这些所

中上的概率分布，选择最优的连接，之后再选择门类型。我们展示谓的深度可微逻辑门网络（LGNs）是由逻辑门组成

了连接优化后的LGNs在阴阳、MNIST和Fashion-MNIST

1的前馈多层网络，在其中每个门有两个输入连接。这

v基准测试中优于标准固定连接的LGNs，同时仅需较少数量的

些网络具有固定的随机连接但可训练的门类型，这些

3逻辑门。当训练所有连接时，我们证明了8000个简单的逻辑门

7就足以在MNIST数据集上达到超过98%的准确率。此外，我门类型被放松为16个不同的可微表达式，每个双输

1

6们展示了我们的网络拥有少24倍的逻辑门数量，但在MNIST入布尔运算符对应一个，并且通过反向传播进行训

0.数据集上的表现优于标准全连接的LGNs。因此，我们的工作展练。还展示了LGNs的卷积方法，在吞吐量速度、准

7现了通往完全可训练布尔逻辑的道路。

0确性和门的数量方面显示了最先进的性能[12]。此外，

5存在使用其他数字硬件元件作为“神经元”的方法，

2IndexTerms—人工智能，反向传播，神经网络硬件，逻

:例如单稳态多谐振荡器（MMV）网络[13]、查找表

v辑门，超低功耗，类脑计算，AI加速器，边缘AI

i（LUT）网络[14],[15]和多路复用器（MUXes）网络[16]。

x

rI.介绍

a

近年来，很明显运行AI模型需要大量的电力[1],在这项工作中，我们提出了一种方法来扩展具有可

[2]。因此，人们表现出强烈的兴趣，希望使这些模型及训练连接的LGN范式。我们的贡献如下：

其相关硬件更加节能，特别是在推理方面[3],[4]。一个我们介绍了一种学习LGN连接的新方法。目前，

例子是使用生物启发的脉冲神经网络（SNNs）[5],[6]LGN中的连接是固定的，因此这可能不是获得执

的神经形态计算领域，通过考虑所有层的输入为二进行特定任务的最小逻辑门网络的最佳方式。在这项

制来节省大量能量。这样，用于确定神经元激活所需的工作中，每个门输入的学习连接数量是一个可以选

乘法-累加（MAC）操作可以减少到仅累积操作。这些