基于RGB图像与三维点云融合的物体位姿估计方法研究.pdf

基于RGB图像与三维点云融合的物体位姿估计方法研究

摘要

近年来，物体位姿估计在计算机视觉领域备受关注，其在自动驾驶、机器人导航、

增强现实等领域具有重要应用价值。而物体位姿估计则是相关技术的关键环节，同时

由于计算机算力的提升，深度学习技术也逐渐应用于诸多领域，因此通过深度学习方

法来完成物体位姿估计任务也成为相关技术研究的重要方向。然而，由于环境复杂性

如物体遮挡、光照变化以及姿态多样性等挑战，传统的物体位姿估计方法在应对真实

场景中的复杂情况时存在一定局限性。针对上述问题，本文对基于深度学习，对RGB

图像与三维点云融合的位姿估计方法进行了研究，利用深度学习技术优势提高位姿估

计精度。

本文首先介绍了物体位姿估计问题的背景意义、研究现状，阐述了物体位姿估计

和深度学习的相关技术理论，介绍了基于深度学习的物体位姿估计方法。

为了增强物体位姿估计网络对光照变化的鲁棒性，更好地捕捉输入数据之间的关

联信息，提高特征表示的质量，在原有算法上引入色彩重映射方法，并且在特征提取

模块加入自注意力机制，以提升模型在物体位姿估计任务中的性能。

针对物体位姿估计在物体遮挡等复杂场景下的鲁棒性、泛化性，以及密集特征序

列中异常值存在对全局特征造成干扰等问题，提出了基于多尺度密集特征融合的位姿

估计方法。通过设计的一种三维关键点检测算法ORB-FPS，避免关键点出现在没有明

显特征的区域，并加入数据增强操作，以提升模型的泛化能力，使用设计的多尺度点

云特征提取网络用来提取点云不同尺度的几何信息，并在密集特征序列提取全局特征

流程中加入了优化的VLAD算法，降低了异常值的干扰，构建更具表现力的全局特征。

在现有数据集上对所提出算法的可行性和有效性进行验证，并与其他算法进行实

验对比，验证了本文算法的有效性。

关键词：物体位姿估计；深度学习；RGB图像；三维点云；

基于RGB图像与三维点云融合的物体位姿估计方法研究

Abstract

Inrecentyears,objectposeestimationhasgainedsignificantattentioninthefieldof

computervisionduetoitscrucialapplicationsinautonomousdriving,roboticnavigation,and

augmentedreality.Objectposeestimationisakeyaspectofthesetechnologies,andwiththe

advancementincomputingpower,deeplearningtechniqueshavegraduallybeenapplied

acrossvariousfields.Consequently,employingdeeplearningmethodstoaccomplishobject

poseestimationtaskshasbecomeacriticalresearchdirection.However,traditionalobject

poseestimationmethodsfacecertainlimitationsinhandlingthecomplexitiesofreal-world

scenarios,suchasocclusions,lightingvariations,anddiverseposes.Toaddressthese

challenges,thisthesisinvestigatesanapproachtoposeestimationthatfusesRGBimageswith

3Dpointcloudsusingdeeplearningtechniques,leveragingtheiradvantagestoimprove

estimationaccuracy.

Thisthes