AA 分割：注意力感知网络用于实时语义分割-计算机科学-语义分割-计算机视觉-.pdfVIP

AA分割：注意力感知网络用于实时语义分割

AbhinavSagar

UniversityofMaryland,CollegePark,Maryland

CollegePark,Maryland

asagar@umd.edu

Abstract存在问题，特别是在对象边界附近。为了解决这个问

题，后来的研究采用了空洞（扩张）卷积[2,40]来扩

本语义分割是计算机视觉中的一个基本任务，涉及通过大感受野而不进行下采样，从而改进了上下文聚合。然

译逐像素分类来理解场景。尽管取得了显著进展，但在保而，这种增强通常伴随着计算开销的大幅增加，使得此

持实时性能的同时实现高精度仍然是一个具有挑战性类方法不太适合实时部署。

中的权衡，特别是在资源受限或对延迟敏感的应用中部

为应对日益增长的高效分割模型需求，已提出几种

4署时更是如此。在本文中，我们提出了一种新的注意

v轻量级架构。SegNet[1]引入了带有跳过连接的编码器-

9感知网络AASeg，用于实现实时语义分割。AASeg通解码器结构以提高推理速度。像ENet[28]、ESPNet[25]

4过轻量级的空间注意力（SA）和通道注意力（CA）模

3和Fast-SCNN[29]这样的网络通过架构简化、深度可

4块有效地捕捉了空间和通道依赖性，增强了特征区分分离卷积和高效的编码器-解码器设计进一步推动了实

0.能力而不产生显著的计算开销。为了丰富上下文表示，时语义分割的边界。尽管这些模型提高了吞吐量（以每

8我们引入了一种多尺度上下文（MSC）模块，该模块

0秒帧数，FPS衡量），但它们通常是以降低分割精度为

1聚合多个感受野中的密集局部特征。注意模块和上下

2文模块的输出被自适应地融合以生成高分辨率分割图。代价的，特别是在涉及小物体或复杂空间布局等具有

:挑战性的场景中。

v在Cityscapes、ADE20K和CamVid上进行的广泛实

i

x验表明，AASeg在精度和效率之间实现了引人注目的为了解决这些限制，我们提出了AASeg（注意力

r

a权衡，并优于之前的实时方法。感知分割网络），这是一个实时语义分割框架，该框架

通过注意力机制明确增强了空间和通道特征表示。

我们的网络引入了三个关键组件：(1)空间注意力

1.介绍(SA)模块以强调空间域中的显著区域，(2)通道注意力

语义分割是计算机视觉中的一个核心问题，其目(CA)模块以自适应地重新加权信息渠道，以及(3)多

标是对图像中的每个像素分配一个语义标签。此任务尺度上下文(MSC)模块以在不增加显著计算负担的情

况下跨不同感受野聚合密集的局部上下文。

在各种实际应用中扮演着至关重要的角色，如自动驾