一种分布式轻量化决策模型设计及半实物仿真实现.pdfVIP

摘要

随着各种无人设备广泛地应用于国防领域，提高无人集群的协同侦察和作战

能力已然成为趋势。目前人工智能技术在无人集群自主控制中扮演重要角色，多智

能体深度强化学习逐渐成为解决无人集群协同决策的主流方案。中心决策架构与

独立决策架构是多智能体深度强化学习的两种基本架构，它们在仿真环境中有着

不错的决策表现，但忽略了现实场景中需要面临计算资源和通信资源受限的问题，

难以同时满足集群决策的准确性和实时性要求。因此需要设计出一个面向真实任

务场景的轻量化决策模型，以适应复杂的部署环境，提高集群的决策水平和协同作

业能力。

本文围绕着分布式轻量化决策模型设计这一研究课题，完成了三部分工作内

容：首先，结合分布式神经网络思想，提出了分布式轻量化协同决策架构，该架构

在保证个体决策实时性的同时，通过引入虚拟中心节点进行协同决策，能够提高集

群决策的准确性，并满足集群的扩展性需求。然后，根据分布式轻量化协同决策架

构的部署需求，设计出适用于虚拟中心节点的多智能体深度强化学习算法GAPPO，

该算法对多智能体分组，使用组内联合观测来学习和做出决策，使用历史记录来辅

助决策，缓解了环境的非平稳性问题，在所选测试场景中有着比经典算法IPPO、

MADDPG和QMIX更好的决策效果。最后，为了使模型的测试数据贴近真实情况，

设计出一个视野受限的无人集群任务场景Collectors，并使用仿真技术构建能在机

载电脑中运行的原型系统，为后续的半实物仿真实验提供支持。

在任务场景Collectors中，首先测试GAPPO和其他经典算法的决策效果，然

后分别在理想环境和半实物仿真环境，比较分布式轻量化决策模型与另外两种决

策模型的性能指标。实验结果表明，具备更大环境感知能力的GAPPO算法决策准

确率高于基准算法，且能够在视野受限的任务场景中取得更优的决策表现，而分布

式轻量化决策模型比独立决策模型有着更高的准确率，比中心决策模型有着更低

的决策时间，尤其在贴近真实场景的半实物仿真环境中，分布式轻量化决策模型的

优势显著。

关键词：人工智能，强化学习，轻量化，集群仿真

ABSTRACT

Asvariousunmanneddevicesarewidelyappliedinthedefensesector,enhancing

thecollaborativereconnaissanceandcombatcapabilitiesofunmannedclustershas

becomeatrend.Currently,artificialintelligencetechnologyplaysasignificantroleinthe

autonomouscontrolofunmannedclusters,withmulti-agentdeepreinforcementlearning

graduallybecomingthemainstreamsolutionforaddressingcollaborativedecision-

makinginunmannedclusters.Centralizeddecision-makingarchitectureandindependent

decision-makingarchitecturearetwobasicarchitecturesofmulti-agentdeep

reinforcementlearning.Theyexhibitgooddecision-makingperformanceinsimulated

environmentsbutoverlooktheissueoflimitedcomputationalandcommunication

resourcesinreal-worldscenarios,makingitdifficulttosimultaneouslymeettheaccuracy

andreal-timerequirementsofclusterdecision-making.The