基于注意力机制的多模态3D目标检测算法研究.pdfVIP

摘要

摘要

3D目标检测技术作为3D感知技术的重要一环，在自动驾驶、机器人等各个

领域都有广泛的应用。结合多种传感器数据的多模态3D目标检测近年来受到重点

关注。点云数据提供精确的三维几何信息，而图像则提供丰富的颜色和纹理细节。

通过融合两种模态数据能有效提升3D目标检测的性能和可靠性。然而，多模态数

据间的异构型对实现多模态对齐，保持异构数据在空间和语义上的一致性提出了

挑战。同时，减少多模态融合过程中的信息损失也是实现多模态3D目标检测的重

要部分之一。

本文提出了基于多层次融合的多模态3D目标检测算法，旨在解决多模态3D

目标检测中存在的问题。具体来说，首先，本文通过图像特征提取网络提取图像

的多尺度特征，然后将低尺度的图像特征通过点融合模块与点云数据进行逐点融

合，再将融合后的点云输入点云特征提取网络，以得到更加准确的点云特征表达。

之后，将点云特征输入质心生成模块，得到聚合了质心点邻域特征的质心点特征。

接下来，通过基于质心的注意力融合模块，将质心点特征和其他尺度的图像特征

进行特征对齐和融合。基于质心的注意力融合模块实现了细粒度的特征对齐，而

且通过交叉注意力和可变形注意力分别融合了图像上下文和局部信息，提升了特

征融合的效果。本文的多层次融合是在前融合阶段和特征融合阶段分别通过点融

合和注意力融合模块融合不同尺度的图像特征，使得模型在不同阶段关注不同层

次的图像信息，实现了对多尺度图像特征的有效融合，提升了多模态3D目标检测

的检测效果。本文的主要工作如下：

（1）本文提出了两种基于质心的注意力融合方法，实现了细粒度的特征对齐

和融合。多模态特征对齐是为了降低不同模态特征的异构性，保证在融合时的空

间和语义一致性。相比于体素和种子点，本文采用的质心点融合粒度小，且包含

丰富的几何和局部邻域信息，有利于多模态的特征对齐和融合。本文在质心点上

通过投影和交叉注意力、可变形注意力分别融合图像上下文信息和局部关键特征，

实现了多模态特征的有效融合。

（2）本文提出了一种多层次多模态融合的方法，包括点融合和注意力融合模

块，分别在前融合阶段融合低尺度图像特征和深度融合阶段融合其他尺度图像特

征。通过这种多层次融合的设计，本文提出的算法模型在不同融合阶段关注图像

特征的不同层次信息，提升了多模态融合效果，减少了信息损失。

（3）本文在ScanNetV2和SUNRGB-D数据集上进行了大量实验来评估本文

I

摘要

提出方法。实验结果表明，本文提出的方法在ScanNetV2和SUNRGB-D上都超

过了许多先进的算法。大量消融实验也证明了提出方法的各个模块的可靠性和参

数设置的科学性。

关键词：3D目标检测，多模态融合，多尺度，细粒度

II

ABSTRACT

ABSTRACT

Asanimportantpartof3Dperceptiontechnology,3Dobjectdetectiontechnology

hasbeenwidelyusedinvariousfieldssuchasautomaticdrivingandrobot.Multi-modal

3Dobjectdetectioncombinedwithmultiplesensordatahasreceivedmuchattentionin

recentyears.Pointclouddataprovidesaccurate3Dgeometricinformation,whileim-

agesproviderichcolorandtexturedetails.Theperformanceandreliabilityof3Dtarget

detectioncanbeeffectivelyimprovedbyblendingthetwomodald