面向在开放 RAN 边缘的真实世界网络管理中深度强化学习代理的实际操作-计算机科学-强化学习-网络管理和编排.pdf

A

LTXCLASSFILES,VOL.X,NO.Y,MONTH202X1

E

面向在开放RAN边缘的真实世界网络管理中

深度

强化学习代理的实际操作

HaiyuanLi,HariMadhukumar,PeizhengLi,YuelinLiu,YiranTeng,

YuleiWu,NingWang,ShuangyiYan,DimitraSimeonidou

摘要—深度强化学习（DRL）作为一种强大的解决方案，智能与通信以及集成感知与通信。这些场景设想了一种

已经出现以满足先进网络中对连接性、可靠性、低延迟和运营效未来网络，能够为越来越多对无线电和计算资源需求不

本率日益增长的需求。然而，大多数研究都集中在理论分析和模拟断增长的用户提供更好的连接性、更低的延迟和更高的

译上，对于实际部署的调查有限。为了弥合这一差距并支持网络管

可靠性[2]。实现这些目标需要两项基本措施：(i)实施

中理中的实用DRL部署，我们首先提出一个编排框架，该框架集更强大的网络架构以有效应对日益动态多样的挑战；以

成了ETSI多接入边缘计算（MEC）与开放RAN，使不同时

2间尺度上的基于DRL的策略能够无缝采用，同时增强代理生命及(ii)采用高效的管理策略来发挥网络能力。

v

6周期管理。然后，我们确定了阻碍DRL实际部署的三个关键挑

8在网络编排方面，标准化的方法如ETSI多接入边

0战，包括（1）来自不可预测或突发流量的异步请求，（2）适应缘计算（MEC）[3]和开放无线接入网（O-RAN）[4]尤

3性和泛化能力在异构拓扑和不断变化的服务需求中的应用，以及

2.（3）由于在实时运营环境中进行探索而导致的收敛时间延长和其具有优势。MEC提供了一个通用的编排框架和API，

0服务中断。为了解决这些挑战，我们提出了一种三重解决方案策使MEC应用程序能够按需部署和生命周期管理。这不

1

4略：（a）高级时间序列集成以处理异步流量，（b）灵活的架构设仅确保了对分配计算资源的细粒度控制，还保证了实

2计如多代理DRL和增量学习来支持异构场景，以及（c）通过时网络管理。另一方面，O-RAN将传统的无线接入网

:

v迁移学习驱动的部署以减少收敛时间和服务中断。最后，在一个

i（RAN）功能分解成不同的模块，提供了如A1、E2和

x城市范围的测试基础设施上验证了MEC-O-RAN架构的可行

rO1等开放接口。这些开放且定义明确的API允许与供

a性，并提出了两个实际用例，展示了这三个确定的挑战并证明所

提出解决方案的有效性。应商无关的智能驱动功能集成。通过统一MEC的编排

特性和O-RAN的模块化RAN功能，运营商可以灵活

IndexTerms—DRL,O-RAN,MEC,实际部署,网络

管理和编排地在网络中部署、管理和扩展智能驱动功能。

此外，在提高网络管理效率的背景下，深度强化学

I.介绍习（DRL）被广泛认为是实现这一目标的关键技术[5]。

新兴的未来网络框架，以国际电信联盟无线