基于多模态融合的三维目标检测研究.pdf

摘要

三维目标检测广泛应用于自动驾驶和监控安全等诸多领域，能够对目标的空

间位置、三维尺寸和姿态等三维信息进行预测。三维目标检测比二维目标检测增加

了更多维度的信息，因此实现难度更高。

传统基于单目视觉的三维目标检测算法易受环境影响且缺乏深度等关键信息，

通常存在较大的检测误差。对此，本文利用多模态融合的方法，使用雷达和单目视

觉传感器对三维目标进行检测，从毫米波雷达点云数据处理、图像和雷达点云特征

的提取与融合三个方面对现有研究进行改进和优化，提高了算法的准确性和鲁棒

性，主要研究内容如下：

1.提出了一种雷达点云数据处理算法，解决了稀疏雷达点云无法使用卷积神经

网络进行特征提取和雷达点云高度信息不准确的问题。该算法包括雷达点云的坐

标转换、雷达与图像的目标关联、雷达点云扩展和雷达信息提取操作，能够实现目

标雷达点云信息与图像信息的精确匹配与关联，最终将稀疏的雷达点云转换为卷

积神经网络能够接受的伪图像格式。

2.设计了一种注意力特征融合子网络，解决了毫米波雷达点云与视觉图像数据

特征融合粗糙导致算法鲁棒性差的问题。该融合网络将雷达特征编码为一个空间

注意权重矩阵，然后利用空间注意力矩阵对视觉传感器提取的特征图沿各通道进

行加权并与加权操作前的图像特征相加，实现毫米波雷达点云与视觉图像数据更

充分地融合。

3.基于上述研究内容，提出了一种基于视觉图像与毫米波雷达点云特征融合的

三维目标检测方法。该融合检测方法以基于视觉的三维目标检测网络为基础进行

修改，分别对视觉图像和雷达点云伪图像进行特征提取并融合。在基于实测数据集

的测试实验中，融合模型的mAP值相比基线网络提高了27.0%，平均偏移误差降

低了18.4%，平均速度误差降低了77.7%。该算法解决了单一视觉传感器抗干扰能

力弱、缺乏目标深度和速度等信息的问题，提高了三维目标检测精度。

上述算法已通过公开数据集和实测数据集进行了验证。实验结果表明，上述算

法可以提高三维目标检测的准确性和鲁棒性。

关键词：三维目标检测，单目视觉，毫米波雷达，多模态融合，深度学习

ABSTRACT

3Dobjectdetectioniswidelyusedinmanyfieldssuchasautomaticdrivingand

monitoringsecurity,anditcanpredictthe3dinformationoftheobject,suchasitsspatial

position,3Dsizeandattitude.Comparedwith2Dobjectdetection,3Dobjectdetection

addsmoredimensionalinformation,soitismoredifficulttoimplement.

Thetraditional3Dobjectdetectionalgorithmbasedonmonocularvisioniseasily

influencedbytheenvironmentandlackskeyinformationsuchasdepth,whichusually

hasalargedetectionerror.Inthisthesis,radarandmonocularvisionsensorareusedto

detect3Dobjectbymulti-modefusionmethod.Andtheexistingresearchisimproved

andoptimizedfromthethreeaspectsofmillimeterwaveradarpointclouddataprocessing,

imageandradarpointcloudfeatureextractionandfusiontoimprovetheaccuracyand

robustnessofthealgorithm.Themainresearchcontentsareasfollows:

1.Thist