一种高效的经验回放模块设计.docx

?

?

一种高效的经验回放模块设计

?

?

陈勃王锦艳

摘要：針对深度Q网络（DQN）应用中基于python数据结构直接实现的经验回放过程时常成为性能瓶颈，提出一种具有高性能及通用性的经验回放模块设计方案。该设计方案具有两层软件结构：底层的功能内核由C++语言实现，以提供较高的执行效率;上层则由python语言编写，以面向对象的方式封装模块功能并提供调用接口，使模块具有较高易用性。针对经验回放所涉及的关键操作，一些技术细节被充分研究和精心设计，例如，将优先级回放机制作为附属组件与模块的主体运行逻辑分离，将样本的可抽取性验证提前到样本记录操作中进行，使用高效的样本淘汰策略与算法等。这些措施使模块具有较高的通用性和可扩展性。实验结果表明，按照该模块实现的经验回放过程，整体执行效率得到了充分优化，两个关键操作——样本记录与样本抽取，皆可高效执行。与基于python数据结构的直接实现方式相比，所提模块在样本抽取操作上的性能提升了约100倍，从而避免了经验回放过程成为整个系统的性能瓶颈，满足了各类DQN相关应用项目的需要。

关键词：强化学习;深度学习;深度Q网络;经验回放;软件设计

中图分类号：TP302

文献标志码：A

Designofexperiencereplaymodulewithhighperformance

CHENBo*，WANGJinyan

CollegeofMathematicsandComputerScience，FuzhouUniversity，FuzhouFujian350108，China

Abstract：

ConcerningtheproblemthatastraightforwardimplementationoftheexperiencereplayprocedurebasedonpythondatastructuresmayleadtoaperformancebottleneckinDeepQNetwork（DQN）relatedapplications，adesignschemeofauniversalexperiencereplaymodulewasproposedtoprovidehighperformance.Theproposedmoduleconsistsoftwosoftwarelayers.Oneofthem，calledthe“kernel”，waswritteninC++，toimplementfundamentalfunctionsforexperiencereplay，achievingahighexecutionefficiency.Andtheotherlayer“wrapper”，writteninpython，encapsulatedthemodulefunctionandprovidedthecallinterfaceinanobjectorientedstyle，guaranteeingtheusability.Forthecriticaloperationsinexperiencereplay，thesoftwarestructureandalgorithmswerewellresearchedanddesigned.Themeasuresincludeimplementingthepriorityreplaymechanismasanaccessorialpartofthemainmodulewithlogicalseparation，bringingforwardthesamplesverificationof“get_batch”tothe“record”operation，usingefficientstrategiesandalgorithmsineliminatingsamples，andsoon.Withsuchmeasures，theproposedmoduleisuniversalandextendible.Theexperimentalresultsshowthattheexecutionefficiencyoftheexperiencereplayprocessiswelloptimizedbyusingtheproposedmod