基于混合现实的人—外肢体智能协同作业技术研究.pdf

摘要

摘要

近些年来，随着机器人技术的不断发展和人们生产生活水平的提高，机器

人也逐渐被应用到各行各业当中，比如工业生产、医疗保健、航空航天、军事

军备、教育娱乐等方面，机器人技术成为了当今科技、经济和社会领域中备受

关注的热门话题之一。机器人技术正在以惊人的速度改变着我们的生产生活方

式，成为推动人类社会进步和发展的关键力量。

外肢体机器人(SRL)作为一种新型可穿戴式机器人，能很大程度的提高穿戴

者的感知能力及活动能力。混合现实(MR)是一种将虚拟世界与现实世界融为连

续统一体的计算机技术，在工业、医疗、设计、游戏、建筑、教育等行业都有

着广泛的应用前景。本文创新性地将混合现实技术应用于人与外肢体的交互控

制，设计并实现了一个所见即所得的混合现实人机交互系统（HRI），使得人与

外肢体机器人之间的交互变得身临其境、方便自然。

本文首先针对人与外肢体机器人间的混合现实交互进行了整体设计。本文

使用的外肢体机器人本体为实验室自研的外肢体机器人，混合现实交互设备是

微软公司生产的HoloLens2。本文针对单人-外肢体智能辅助模式与双人-外肢体

远程协助作业模式两种外肢体工作模式，分别展开系统设计，设计并实现了相

应的混合现实交互场景，致力于其高效、可靠、易用，然后比较了常见的无线

通讯方式并设计实现了相应的通信系统。

接着，本文利用混合现实的相关特点及人类身体的各种信号的基础上，提

出并实现了一系列的智能交互方法，包括直接操作全息物体，手部追踪识别交

互，手势交互，眼部追踪交互及语音交互等，这些智能交互方法旨在提高人与

外肢体机器人间交互的沉浸感及易用性。

之后，本文针对单人-外肢体智能辅助作业模式中的一个具体的销孔装配场

景展开仔细研究。此处可分作两大模块，其一，在外肢体本体端，本文提出了

一种基于神经网络及空间升维的销孔目标寻找及空间六维位姿解算方法，用于

销孔目标估计。其二，在外肢体混合现实交互端，本文提出了一种新型的外肢

体机器人与混合现实设备HoloLens2空间对齐方法，用于之后的混合现实增强

现实及外肢体机器人智能交互控制。

最后，本文针对双人-外肢体远程协助作业模式中的一个具体的头顶作业场

景进行了细致研究分析。在现场操作者端，本文先对现场作业场景中的空间基

准利用SolvePnP的方法进行了位姿估计，接着获得了外肢体设备的空间位姿，

-I-

哈尔滨工业大学硕士学位论文

然后提出了一种基于计算机视觉的空间人体姿态估计的方法，基于以上，获得

了现场的工作场景估计。在远方协作者端，本文进行了现场作业场景构建，还

原出相应混合现实场景，并提出了相应人体姿态重建的方法，之后，在此混合

现实场景下，操作者和协作者间可通过身体姿态、手势、语音等，利用前文的

智能交互方法可进行相应交互控制，此外，本文将原始的平面视频流投入到该

混合现实场景中，用以帮助远端协作者更好理解现场场景，更好的实现现场操

作者和远端协作者通过外肢体机器人配合协同工作。

关键词：外肢体；混合现实；人机交互；空间姿态估计；人体姿态估计

-II-

Abstract

Abstract

Inrecentyears,withthecontinuousdevelopmentofroboticsandthe

improvementofpeoplesproductionandlivingstandards,robotshavebeen

graduallyappliedtovariousindustries,suchasindustrialproduction,healthcare,

aerospace,military