家庭服务型机器人目标识别与位姿估计研究.pdfVIP

摘要

近年来，随着服务机器人在家庭环境中的推广应用，对于机器人具备目标识别和位

姿估计的能力提出了更高的要求。然而，目前基于视觉引导的机器人操作大多还基于简

单场景，特别是在家庭环境中对于背景复杂或目标种类繁多等问题还没有好的解决方案。

此外，对识别定位的研究还依赖于点云或RGB-D数据，这些模型在训练过程中对数据

集的依赖较强，难以推广到未知物体。为应对这一挑战，本文深入探讨了基于视觉引导

的机器人抓取系统，针对存在的问题进行了综述和改进。本文的主要工作如下：

（1）对国内外服务机器人及基于视觉的识别及位姿估计现状进行了综述，指出了现

存的研究中的不足之处。现有的模型大多依赖点云或RGB-D数据，对于识别的某类对

象也需要通过带有这些数据的数据集训练后才能进行预估，这些数据复杂且不易获取，

且现有的方法难以将训练模型推广到未见过的物体中，也不适合在家庭复杂环境下应用。

本文针对家庭服务型机器人目标识别及位姿估计，提出了一种仅基于RGB图像的6D姿

态估计网络，且该网络可以很容易地推广到未见过的物体上，适合家庭环境下对新目标

的学习。

（2）设计了基于视觉引导的机器人抓取方案的整体框架。利用实验室中ROKAE机

器人及其他设备构建了实验室抓取平台。搭建了“Eye-in-Hand”手眼模型，结合相机标

定和手眼标定分别获取了相机内参和外参，实现了相机坐标系与机器人坐标系下的姿态

转换。

（3）在Gen6D网络模型基础上进行了改进，在特征提取前，网络进行动态缩放以

增强感兴趣区域的分辨率，提高模型对细微特征的识别能力以增强对小目标对象的预测

能力。本文还在VGG11特征提取网络中引入FPN金字塔池化模块，构建多尺度特征金

字塔帮助模型更好地检测不同尺寸的对象，并将低分辨率的特征图增强到与高分辨率特

征图相似的尺寸，从而提高小目标的表征能力。在网络末端还通过预测信息设计了夹持

器自适应握取大小模块，减少抓取任务等待，提升抓取过程流畅性。

（4）构建了机器人抓取实验平台对研究内容进行实验验证，利用常见生活用品构建

了一个数据集用于姿态估计网络检验，并进行抓取实验，验证了本文算法的有效性和实

际抓取任务中的可行性。

关键词：位姿估计；深度学习；服务机器人；Gen6D

Abstract

Inrecentyears,withthewidespreadapplicationofservicerobotsinhomeenvironments,

therehasbeenanincreaseddemandforrobotstopossessthecapabilitiesoftargetrecognition

andposeestimation.However,mostvision-guidedrobotoperationsarecurrentlybasedon

simplescenes,especiallyincomplexhomeenvironmentswheresolutionsforchallengessuch

ascomplexbackgroundsanddiversetargettypesarelacking.Moreover,researchon

recognitionandlocalizationstillheavilyreliesonpointcloudorRGB-Ddata,makingmodels

highlydependentonspecificdatasetsandchallengingtogeneralizetounknownobjects.To

addressthesechallenges,thispaperdelvesintothevision-guidedrobotgraspingsystem,

providingareviewandimprovementsforexistingissues.Themaincon