SPARTA：通过基于脉冲时间的优先级提升尖峰神经网络中的稀疏注意力.pdfVIP

SPARTA：通过基于脉冲时间的优先级提升尖峰神经网络中的稀疏注意力

MinsukJang,ChangickKim

1KoreaAdvancedInstituteofScienceTechnology(KAIST)

{minsukjang,changick}@kaist.ac.kr

Abstract峰处理中固有的丰富时间动力学。大多数现有方法主要

关注提高准确性，而对区分SNNs与传统ANN的精确

当前基于脉冲的神经网络（SNNs）在处理过程中未能充

时间信息利用不足，这代表了一个进一步发展的关键机

分利用固有的时间动态特性，主要依赖于速率编码而忽

略了提供丰富计算线索的精确时间信息。我们通过提出会。因此，它们在神经拟态硬件上的计算效率受到了限

SPARTA（具有资源自适应时间分配的脉冲优先注意力制(Orchard,Delbruck,andDavies2021;Bellecetal.

本机制），利用异构神经元动力学和脉冲时间信息来实现稀2018)。SNNs固有的优势在于空间-时间编码，通过精

译疏注意机制。SPARTA提取时间线索——包括放电模式、准的尖峰定时高效地编码复杂的时序模式，这是ANN

中脉冲时间和脉冲间隔——以优先处理令牌，通过竞争性们不自然复制的能力(Eshraghianetal.2023)。然而，

门控实现了65.4%的稀疏度。通过仅选择最显著的令牌，当前的研究主要集中在匹配ANN性能指标上，而不足

2SPARTA将注意力复杂度从降低到，其的是没有充分应对尖峰时间提供的独特机会，包括计算

v中。我们的方法在DVS-Gesture上达到了最先进效率和注意力机制方面。这引发了一个关键问题：我们

6

4的准确性（98.78%），并在CIFAR10-DVS（83.06%）和如何更有效地将尖峰动态固有的时间编码能力整合到

6CIFAR-10（95.3%）上展示了具有竞争力的表现，证明了

1脉冲时间的利用能够实现计算效率和高准确性的结合。注意力机制中，以提高SNNs的效率和性能？

0受关于选择性注意时间动态机制的神经科学证据

.

8启发(Singer1999)，我们提出了SPARTA（S挑P选优

0介绍先A注并以R资源自适应T时间A分配）。SPARTA

5

2深度学习与人工神经网络（ANN）已经彻底改变了结合了异构神经元，模仿皮层神经元群体中发现的丰富

:

v现代社会的许多方面，在计算机视觉领域取得了重大突多样的响应特性，使网络能够捕捉跨越多个时间尺度的

i破(Heetal.2016)。然而，这些日益复杂的模型所消复杂时间特征。然后它利用时空编码网络（STEN）构

x

r耗的巨大能量已经成为实际部署的关键瓶颈(Strubell,建一个多尺度特征表示，明确保留这一关键尖峰定时信

a

Ganesh,andMcCallum2019)。息。最后，这些特征指导优先感知稀疏时态注意，动态

尖峰神经网络（SNNs）通过处理离散的、异步的地仅将计算资源分配给最显著的标记，避免了标准注意

脉冲，提供了一种从根