多智能体Q学习在多AUV协调中的应用研究.pdfVIP

第35卷第1期 应 用 科 技 Vol_35．No．1 2008年 1月 Applied Science and Technology Jan．2008 文章编号：1009—671X(2008)01—0057—04 多智能体 Q学习在多AUV协调中的应用研究 严浙平，李 锋，黄宇峰 (哈尔滨工程大学 自动化学院，黑龙江 哈尔滨 150001) 摘 要：分析了近年来提出的几种主要单、多智能体强化算法，提出一种多智能体Q学习算法，并将它用于多 AUV协调中．此算法融合了Nash-Q、CE-Q及WoLF．PHC的算法思想或表达形式，程序简单、容易计算，并且具 有很好的收敛性．多AUV协调控制仿真实验结果表明这个算法是有效的． 关键词：多智能体；Q学习；Nash均衡；多AUV 中图分类号：TP391．9 文献标识码：A Research on application of multi-agent Q-learning algorithm in multi-AUV coordination YAN Zhe—ping，LI Feng，HUANG YU—feng (College of Automation，Harbin Engineering University，Harbin 150001，China) Abstract：Several major reinforcement learning algorithms for single agent and multi—agents，that ale developed in recent years，are investigated，compared and analyzed．A multi—agent Q—learning algorithm is proposed and used in multi—AUV coordination．This algorithm combines the thoughts or expressions of Nash—Q，CE—Q and WoLF—PHC al— gorithms，SO that the program is simple，the computation is easy，and the convergence rate is high．Experiment re— sults of multi—AUV coordination and control prove the effectiveness of this algorithm． Keywords：multi—agent；Q—learning；Nash equilibrium；multi—AUV AUV(autonomous underwater vehicle)在海洋环 Littman|o J、Hu 和 Wellman【… 、Greenwald 和 Hall[川 Bowling[ ” 及Goodrich㈣等先后提出自 境监测、海底资源调查、科学考察、危险环境作业和 、 打捞救生等方面起到了至关重要的作用．随着执行 己的主张，发展了多智能体强化学习理论，多智体之 任务的复杂性日益增加，单AUV在大范围内作业的 间的协调问题则成为各种算法研究的核心。而这些 时效性、鲁棒性和柔性等方面就表现出明显不足．多 正是多AUV协调技术当中的关键． AUV系统相对于单AUV而言具有更高的作业效率 在对比分析 QL、minimax—Q、Nash—Q、CE—Q、 和系统稳定性．随着执行任务的复杂性日益增加，相 FOF、WoLF—PHC、GIGA—WoLF等核心算法的基础 关