多智能体强化学习在机器人化珊瑚礁样本采集中的应用-计算机科学-强化学习-自主水下机器人.pdfVIP

多智能体强化学习在机器人化珊瑚礁样本采集中的应用

DanielCorrea,TeroKaarlela,JoseFuentes,

PauloPadrao,AlainDuran,andLeonardoBobadilla

Abstract—本文提出了一种用于开发自主水下机器人珊有素的操作员，并且通信延迟会使精确操纵变得困难。

瑚采样代理的强化学习（RL）环境，这是珊瑚礁保护和研究中由此产生了一个困境，即ROUV操作员可能会受到

一项至关重要的任务。通过软件回路（SIL）和硬件回路（HIL），

压力、疲劳甚至功能障碍的影响，从而降低潜在的好

在仿真中使用数字孪生（DT）开发了由RL训练的人工智能

（AI）控制器，并随后在物理实验中进行了验证。水下动作捕捉处。ROUVs的高级自主控制可以理想地减少对人类操

（MOCAP）系统在验证测试过程中提供实时3D位置和方向作员的依赖并帮助提高复杂任务的效率[5]。

反馈，以实现数字域和物理域之间的精确同步。这种方法的关强化学习可以用来训练人工智能控制模型，以实

键新颖性在于结合使用通用游戏引擎进行仿真、深度RL以及

现接近人类的性能。一个挑战是创建一个现实的训练

本实时水下动作捕捉，从而实现有效的零样本仿真到现实策略。

译I.介绍环境和代理，这个问题被称为仿真到现实的差距。另

一个挑战是设计一种与人类操作员目标一致的RL策

中珊瑚礁经历多种压力因素，包括但不限于白化事略。当目标是将学习到的策略转移到现实世界时，这

1两个方面都不能被忽视。

v件、疾病、污染和过度采集[1]。这些压力因素的简单

1本文介绍了一个用于开发ROUVsAI控制器的强

4或协同效应已将珊瑚数量降至不确定未来水平，除非

9有人类干预措施，如修复计划。保护珊瑚礁需要采取化学习环境。其能力通过将低成本的ROUV转变为自

6主水下航行器（AUV）得以展示，该AUV能够执行

1重要行动，例如种植新的珊瑚、清除有害垃圾、收集

.水下有哪些信誉好的足球投注网站和导航任务，减少对人类操作员的依赖，并

7用于研究的珊瑚样本以及监测水下条件[2],[3]。

0且具有较高的效率以及扩展为多个自主代理的潜力。

5水肺潜水至今仍是浅水中珊瑚礁研究和保护的主

2要实地方法。该活动受到多种因素的限制，包括严格的该智能体被训练以收集健康的珊瑚样本并将它们带到

:

v培训和认证流程、后勤挑战以及最重要的，由减压病风收集容器中，同时避免与不健康珊瑚的接触。环境使

i

x险随深度增加而限定的较短海底停留时间。因此，研究用Unity游戏引擎实现，配备了动态水物理2包及ML

r

aagents工具包[6],[7]。所呈现的强化学习培训环境是

人员在收集数据时面临诸多限制，并且只能局限于浅

佛罗里达国际大学海岸保护和恢复机器人及自主系统

水区。这些限制解释了对中光照礁缺乏信息的原因，这