多智能体强化学习在自主网络安全中的通信学习-计算机科学-多智能体强化学习-网络安全-自主网络防御.pdfVIP

多智能体强化学习在自主网络安全中的通信学习

FAIZANCONTRACTOR,LILI,RANWAALMALLAH

ElectricalandComputerEngineeringDepartment,RoyalMilitaryCollegeofCanada,Kingston,Ontario,Canada

DefenceResearchandDevelopmentCanada,Ottawa,Ontario,Canada

E-MAIL:faizan.contractor@,li.li2@ecn.forces.gc.ca,ranwa.al-mallah@polymtl.ca

本Abstract:(MARL)训练的合作代理人可以通过协调其行动并共同应

译在部分可观察环境中的合作多智能体强化学习中，流行对多阶段网络防御操作中的威胁来提高网络安全效果。然

中的方法通常允许代理在执行过程中独立行动，这可能会限制而，在网络环境中，可能需要大量的信息以确保有效的决

1训练策略的协调效果。然而，通过共享已知或疑似正在进行策制定。事实上，人类蓝队进行检测分析和对策所需的信

v的威胁等信息，有效的沟通可以改善网络战空间中的决策制息量往往受到网络运营中心的严格限制，以防信息过载。

8

5定。我们提出了一种游戏设计，在这种设计中，防御代理通过因此，在训练MARLACD代理人时，减少代理人在观测

6

4在网络操作研究健身房中玩训练游戏来学习交流并防御迫在空间中所需的大量信息至关重要，这有助于促进培训、提

1眉睫的网络威胁，使用了适应于网络作战环境的可微互代理高培训速度，并在执行过程中降低信息成本。在这项工作

.

7学习算法。这些自主智能体所学得的战术策略类似于人类专中，我们应用了智能体间的通信以避免所有智能体拥有一

0

5家在应对事件以避免网络威胁时的策略。此外，代理在学习个单一的大观察空间。这使得问题空间可以被分解为多个

2其防御战术策略的同时也同时学会了成本最小化的通信信息。ACD智能体各自负责的小区域。此外，在MARL中实现的

:

vKeywords:智能体间通信允许代理人在训练和执行阶段共享信息，从

i

x而形成更为稳健和协调的防御策略[5]。这种情况类似于人

r

a协调；沟通；学习沟通；网络安全；网络防御；自主网络防御类专家在应对事件响应时尝试避免网络威胁所做的工作。

这项工作的贡献包括：

1.介绍

•具有代理间通信能力的MARL算法在ACD中的一种

新应用，使用了为网络操作适应的可微分代理间学习

近年来，自主代理技术在各种应用领域[1]的迅速发

(DIAL)算法[6]

展推动了对自主网络防御（ACD）代理人的实验研究，旨

在实现机器速度下的网络安全操作扩展性。ACD代理人•使用最少的单比特代理间通信消息的首个MARL

采用了深度强化学习(DRL)技术，类似于为其他应用程序ACD代理，其表现优于需要全局状态信息的代理。

开发的代理人[2][7]。他们是预期能够自动学会及时应对

网络系统中敌对活动采取适当战术行动的决策代理人，如•在日益复杂的场景中对通信代理的行为和性能进行评

企业网络和联网工业系统[3]。鉴于网络安全的复杂性，通估，并在一个模拟的真实环境中，即网络作战研究健

常会考虑多个合作防御代理人的使用，这些被称为蓝队代身房（CybORG）的企业网络中展示这种方法的实际

理人。