广义自适应传输网络-增强跨领域强化学习中的迁移学习-计算机科学-迁移学习-强化学习-神经网络.pdfVIP

广义自适应传输网络：增强跨领域强化学习

中的迁移学习

AbhishekVerma,NallarasanV,andBalaramanRavindran

DepartmentofInformationTechnology,SRMIST,Chennai,TamilNadu,India

Email:{av6651,nallarav}@srmist.edu.in

IndianInstituteofTechnology,Madras,TamilNadu,India

Email:ravi@cse.iitm.ac.in

摘要—迁移学习在强化学习（RL）中使代理能够利用源任计算效率:需要大量重新训练或大型源任务库的迁

本务的知识来加速目标任务的学习。虽然先前的工作，如Attend、移方法对于资源受限的环境来说计算成本过高。

Adapt和Transfer（A2T）框架，解决了负向转移和选择性转

译我们提出了广义自适应传输网络（GATN），这是

移的问题，但其他关键挑战仍然未被充分探索。本文介绍了广义

中一种新颖的架构，能够解决这些问题。GATN集成：

自适应传输网络（GATN），这是一种深度RL架构，旨在解决

1跨领域的任务泛化、对环境变化的鲁棒性和迁移计算效率问题。在不同的状态-动作空间中学习共享特征的领域无

v

6GATN采用了一种领域无关的表现模块、一个鲁棒性感知策略适关表示模块。

2配器和一个高效的转移调度程序来实现这些目标。我们在多样化在环境扰动下保持性能的鲁棒性感知策略适配器。

0

3的基准测试中评估了GATN，包括Atari2600、MuJoCo以及对相关来源知识进行优先处理以最小化计算开销的

0自定义的聊天机器人对话环境，展示了在跨域泛化、对动态环境

.高效的传输调度器。

7的韧性以及计算开销减少方面优于基线模型的表现。我们的研究

0结果表明，GATN是一种适用于实际RL应用（如自适应聊天机Parisotto等人。[4]提出了Atari游戏的多任务学习，

5

2器人和机器人控制）的多功能框架。但在微调过程中遇到了负面迁移问题，而GATN通过

:

v其自适应机制解决了这一问题。我们的贡献是：

i

xI.介绍1)一种新的框架GATN，用于强化学习中的迁移学

r

a习，解决跨域泛化、鲁棒性和效率问题。

强化学习（RL）使代理通过与环境的交互来学习

2)在Atari2600、MuJoCo和聊天机器人对话环境

最优策略，该环境被建模为马尔可夫决策过程（MDP）

中进行的经验验证，显示了相较于A2T和基线的

[1]。在RL中的迁移学习通过复用源任务的知识来加速

性能提升。

目标任务的学习[2]。虽然像A2T[3]这样的框架解决了

3)对将GA