通过深度强化学习实现的无人机辅助车联网边缘计算中的分层任务卸载-计算机科学-无人机辅助的车联网-深度强化学习-优先级感知资源调度.pdf

通过深度强化学习实现的无人机辅助车联网

边缘计算中的分层任务卸载

HongbaoLi,ZiyeJia,SijieHe,KunGuo,andQihuiWu

TheKeyLaboratoryofDynamicCognitiveSystemofElectromagneticSpectrumSpace,MinistryofIndustryand

InformationTechnology,NanjingUniversityofAeronauticsandAstronautics,Nanjing,Jiangsu,211106,China

SchoolofCommunicationsandElectronicsEngineering,EastChinaNormalUniversity,Shanghai,200241,China

lihongbao491@,{jiaziye,hesijie,wuqihui}@,kguo@

摘要—随着计算密集型和延迟敏感应用在车联网中的出补充，以增强任务卸载的灵活性和网络适应性[6]–[8]。

本现，无人驾驶飞行器（UAVs）因其高移动性和灵活部署而成为然而，现有的基于UAV的任务卸载策略在实际部署中

车辆边缘计算的有前景补充。然而，现有的UAV辅助卸载策略面临挑战。首先，许多研究未能有效整合异构空地资

译在协调异构计算资源和适应动态网络条件方面不足。因此，本文源，并缺乏针对任务异质性的路径选择机制[9]–[12]。

提出了一种基于部分卸载的双层UAV辅助边缘计算架构，该

中架构由高空无人机的中继能力和低空无人机的计算支持组成。特别是，大多数工作忽视了将非延迟敏感型任务中继

1所提出的架构能够高效地整合和协调异构资源。我们定义了一到远程闲置RSU或BS以缓解热点拥塞的机会，导

v个联合优化问题，在确保任务完成率的同时最小化系统延迟和致全球资源利用率低下。此外，在高交通密度场景下，

2能耗。为了解决高维决策问题，我们将问题重新表述为马尔可RSUs容易过载，没有动态分流机制可能导致区域计算

2夫决策过程，并基于软演员-评论家算法提出了一种层次卸载方瓶颈[13]。此外，传统的优化方法在快速拓扑演化的

7案。该方法解耦了全局和局部决策，其中全局决策将卸载比率动态车辆环境中适应性较差，而深度强化学习（DRL）

5和轨迹规划整合为连续动作，而本地调度通过设计一种基于优

0先级的机制来处理。进行了仿真并表明，所提出的方法在任务的直接应用则面临着行动空间维度灾难和训练不稳定

7.完成率、系统效率和收敛速度方面优于几种基线方法，显示出的问题，这阻碍了它们的实际适用性[14]。在这项工

0在动态车联网环境中具有强大的鲁棒性和适用性。作中，我们提出了一种基于部分卸载的双层UAV辅助

5IndexTerms—无人机辅助的车联网，计算卸载，深度强边缘计算架构。所提出的系统集成了具有全局中继和

2化学习，优先级感知资源调度。协调能力的高空UAV（HUAV）与具有本地化部署和

:

v快速响应能力的低空UAV（LUAV），形成一个高效的

i

x空地协作任务处理系统。为了优化协作，我们制定了

rI.介绍一个联合优化问题，旨在最小化整体系统的延迟和能

a

耗同时保持较高的任务完成率。该模型共同考虑了多

ith智能交通系统的快速发展，车辆终端已广泛个决策变量，包括任务卸载比例、卸载节点选择、计

W应用于高级应用中，如自动驾驶、高精度环境算资源分