移动边缘计算中基于深度强化学习的任务迁移研究.pdfVIP

黑龙江工业学院学报(综合版)Vol.24No.9

第M卷第9期

2024年9月JOURNALOFHEILONGJIANGUNIVERSITYOFTECHNOIβGY(COMPREHENSIVEEDITION)Sep.2024

文章编号:2096-3874(2024)09-∞69-06

移动边缘计算中基于深度强化学习的任务迁移研究

李志强，朱晓娟

(安徽理工大学计算机科学与工程学院，安徽淮南232∞I)

摘要:移动边缘计算将云计算能力推广至网络边缘，在移动用户周围提供服务。为了解决因用户移动与边

缘节点覆盖范围有限而引起的服务中断问题，提出一种融合优先经验田放的深度确定性策略梯度的任务迁移算

法。将任务处理时延与能耗作为优化目标，任务迁移与资源分配问题建模为马尔科夫决策过程，智能体根据提出

的策略做出资源分配与迁移决策方案。仿真实验结果表明，设计的任务迁移策略在任务执行成功率和时延与能

耗方面有着优越的表现。

关键词:深度强化学习;边缘计算;移动性;任务迁移

中图分类号:TN929.5:TP18文献标识码:A

近年来，在线游戏、虚拟现实(VirtualReality,VR)和增状态、剩余资源等因素。在应用深度强化学习解决任务

强现实(AugmentedReality,A町等各种移动应用出现在生迁移中，Chen等人使用深度强化学习(Deepreinforcement

活中[1]。上述应用在资源受限的移动设备上运行面临资源learning,DRL)框架来指导任务迁移的时间和位置[13]，提

与延迟等方面的挑战[2]，移动边缘计算(MobileEdgeCom-出一种高效的服务迁移算法，决定何时以及将服务迁移

puti吨，MEC)被提出[3-4]。在应对延迟敏感的任务时，将任

到何处。由于用户移动的随机性，系统需要在不知道用

户移动轨迹的情况下做出任务迁移决策[叫。任务迁移

务迁移到距离用户更近的MEC节点处理，将提高对用户的

服务质量(QualityofService，俗的。同时MEC面临着诸多过程中路径的选择至关重要，Gao等人使用DRL来构建

任务迁移模型[15]，模型中的智能体寻找最优路径。在上

挑战，例如许多工作是在准静态场景下解决计算卸载问

述调研中的训练算法普遍采用随机经验回放机制，该方

题[町，而很少涉及与用户移动性相关的任务迁移管理问题。

法会采样一些对训练贡献较低的数据，导致算法收敛

在任务迁移领域中，虚拟机技术和容器技术被作为主要的

慢、收敛时奖励值偏低的问题。

迁移技术手段。前者的核心优势是可以对计算节点工作负

本文针对用户在边缘节点间移动的任务迁移问题，设

载具备动态适应性，充分优化资源配置以实现利用率最大

计了一种考虑多因素的任务迁移策略算法来执行任务迁移

化，适用于周期较长、设计复杂应用程序的大型迁移项

决策，提出了一种结合优先经验回放机制的深度确定性策

目[6-7]。目前，一些研究聚焦于更轻的容器实现服务迁移，

在资源利用率和实现时间上具有明显优势[8]。在MEC系略梯度算法(DeepDeterministicPolicyGradientalgorithmwith

统中使用容器技术，任务程序及相关数据被迁移到更接近PriorityExpe