基于多模态信息融合的全自动超声机器人系统关键技术研究.pdfVIP

摘要 摘 要 超声成像是目前临床运用最广泛的医学成像技术之一，具有对人体伤害小， 操作过程较为简单等特点，然而随着新冠肺炎 （COVID-19）在全世界的流行， 医护人员在超声检查中需要频繁与感染病人进行问诊接触，给医护人员带来极 大的感染风险。为了降低医护人员感染 COVID-19 的几率，降低医护人员工作 量，急需智能超声机器人代替医护人员对病患进行超声扫描工作。然而现有的智 能超声机器人往往难以实现超声扫描的自动化，同时仅利用了环境单一的视觉 信息，没有充分利用并结合超声扫描过程中视觉和触觉等模态的信息。 基于以上背景，本文搭建了一套基于多模态信息融合的全自动超声机器人 系统，结合视觉和触觉等多个模态的信息辅助超声机器人决策，具体贡献如下： （1）为了确定超声机器人扫描的范围，提出了一种基于Anchor-free 的目标 检测算法 TTFNet-lite 检测病人的胸腹。该算法在 TTFNet 目标检测模型基础上 进行了改进，TTFNet-lite 目标检测算法首先将TTFNet 的骨干网络由Darknet53 更改为MobileNetV3-Large ，大大降低了参数量和模型体积。除此之外，TTFNet- lite 还采用了CutMix 等数据增强算法以及可变性卷积等操作。实验表明TTFNet- lite 目标检测网络相比TTFNet 目标检测算法训练时间更短、检测精度更高，能 完成实时检测病人胸腹目标的任务。 （2 ）为了实时判断超声机器人抓握超声探头的状态，并控制超声扫描过程 中探头的稳定，提出了一种基于宽度学习系统的实时触觉感知与分类的方法。本 文采集并预处理了机器人末端触觉数据，制作抓取状态数据集，并引入宽度学习 系统训练该数据集。训练好的宽度学习系统实现了实时检测的预期目标，为系统 提供了触觉模态的反馈，进一步增强了全自动超声机器人的鲁棒性。 （3 ）搭建了一套多模态信息融合全自动超声机器人系统。首先，对超声机 器人的扫描系统进行研究，主要包括扫描范围确定和扫描轨迹规划。为了确定扫 描范围，本文对原始深度图像进行了滤波、配准以及填补漏洞等操作，同时设计 了扫描策略并规划扫描轨迹。然后，对全自动超声机器人系统的三个子系统进行 了整合，配置网络与数据传输标准。最后，本文将软硬件平台部署完后进行了功 能测试，实验结果表明本系统能完成机器人自动超声扫描的任务。 I 目录 目 录 摘 要 I ABSTRACTIII 目 录VI 第1 章 绪论 1 1.1 研究背景及意义 1 1.2 国内外研究现状3 1.2.1 超声机器人研究现状3 1.2.2 机器人多模态信息融合方法研究现状6 1.3 主要研究内容9 1.4 文章组织结构 10 第2 章 全自动超声机器人平台搭建 11 2.1 引言 11 2.2 UR3 机器人运动学分析与建模 11 2.2.1 UR3 机器人坐标系 12 2.2.2 UR3 机器人正运动学解算 13 2.2.3 UR3 机器人逆运动学解算 14 2.3 Kinect v2 深度相机相关技术原理 17 2.3.1 Kinect v2 深度成像原理与相机模型 18 2.3.2 Kinect v2 内参标定20 2.3.2 Kinect v2 手眼标定22 2.4 Barrett Hand 灵巧手相关技术原理24 2.4.1 Barrett Hand 灵巧手运动学原理24