基于图像和点云融合的道路场景三维目标检测.pdfVIP

摘要

目前深度学习算法已经具备快速落地的条件，自动驾驶汽车成为人工智能技术应用的重

要载体。激光雷达与相机是自动驾驶汽车中最重要的两种传感器，所采集的点云与图像数据

是自动驾驶三维目标检测任务的重要数据来源。研究这两种数据的特征提取及融合，对于实

现安全稳定的自动驾驶具有重要意义。

本研究基于图像与点云的特点，面向道路场景中车辆类动态目标，设计了一种图像和点

云多级融合的三维目标检测方法，论文的主要研究工作总结如下：

首先，本研究充分剖析了图像及点云数据的数据来源、数据特征、优势劣势等。详细介

绍了KITTI和nuScenes数据集及相关评价指标，对图像与点云在三个层面的融合技术进行了

总结，确定了在数据级与特征级层面对图像与点云进行融合的模型设计思路。

其次，提出一种将图像与点云在数据级层面融合的数据增强方法，设计了基于伪激光点

云的数据增强网络框架。首先使用深度估计网络获取双目图像的深度图，利用激光点云对深

度图进行深度校正，减少深度估计误差；其次采用语义分割的方法获取图像的前景区域，仅

将前景区域对应的深度图映射到三维空间中生成伪激光点云，提升伪激光点云中前景点的数

量占比；最后根据不同的观测距离对伪激光点云进行不同线数的下采样，并与原始激光点云

进行融合作为最终的增强点云数据。在KITTI验证集上的实验结果表明，该方法能够提升多

个网络框架的小目标检测精度，以典型网络SECOND、MVX-Net为例，在困难等级下，3D

目标检测精度分别获得8.65%、7.32%的大幅提升。该方法适用于所有以点云为输入的目标检

测网络，有效改善了点云稀疏性带来的小目标检测精度低的问题，具备有效性与通用性。

最后，针对数据级层面融合方法的不足，研究了在特征级层面实现图像和点云深度融合

的方法。以增强后的点云数据作为输入，设计了一种对图像和点云多级融合的三维目标检测

模型。将增强点云输入点云检测分支进行特征编码及提取，使用RPN网络生成3D候选区域，

对3D候选区域的体素特征应用体素ROI池化，提取体素的ROI特征；将图像送入图像检测

分支进行特征提取，经过多尺度特征融合，依据来自点云检测分支生成的3D候选框，对图像

特征进行裁剪，生成图像的ROI特征；将图像的ROI特征与体素的ROI特征通过特征级联

或注意力融合的方式进行融合，最后进行三维目标的分类与回归。使用KITTI和nuScenes数

据集对算法进行了实验验证与性能对比分析，本算法在KITTI测试集中等难度下的3D目标

检测精度达到了82.49%，在nuScenes验证集与测试集上的mAP指标分别达到64.5%与66.2%，

验证了本算法的有效性与鲁棒性。

本研究所设计的多级融合模型充分发挥了图像与点云在目标检测领域的优势，在原始数

据及高级语义信息上都实现了两者的融合，显著提升了模型的检测精度。

关键词：多模态；三维目标检测；伪激光点云；特征融合；数据增强

Keywords:Multimodal,3Dobjectdetection,Pseudo-LiDAR,Featurefusion,Dataaugmentation

目录

摘要I

AbstractIII

目录V

第一章绪论1

1.1研究背景和意义1

1.2国内外研究现状2

1.2.1基于图像的三维目标检测2

1.2.2基于点云的三维目标检测5

1.2.3基于融合方法的三维目标检测7

1.3主要研究内容与章节安排9

第二章三维目标检测理论基础11

2.1三维目标检测概述11

2.1.1数据特征分析11

2.1.2数据集13

2.1.3评价指标16

2.2图像与点云融合技术理论19

2.2.1数据级融合20