基于改进ELM的递归最小二乘时序差分强化学习算法及其应用.pdfVIP

第 68卷 第 3期 化 工 学 报 V_o1．68No．3 2017年 3月 CIESC Journal March 2017 《 DOI：10．11949~．issn．0438—11572．0161555 基于改进 ELM 的递归最小二乘时序差分强化学习算法及其应用 徐圆，黄兵明，贺彦林 (北京化工大学信息科学与技术学院，北京 100029) 摘要：针对值函数逼近算法对精度及计算时间等要求，提出了一种基于改进极限学习机的递归最小二乘时序差分 强化学习算法。首先，将递推方法引入到最小二乘时序差分强化学习算法中消去最小二乘中的矩阵求逆过程，形 成递推最小二乘时序差分强化学习算法，减少算法的复杂度及其计算量。其次，考虑到LSTD(0)算法收敛速度慢， 加入资格迹增加样本利用率提高收敛速度的算法，形成 LSTD(2)算法，以保证在经历过相同数量的轨迹后能收敛 于真实值。同时，考虑到大部分强化学习问题的值函数是单调的，而传统 ELM 方法通常运用具有双侧抑制特性 的Sigmoid激活函数，增大了计算成本，提出采用具有单侧抑制特性的softplus激活函数代替传统 Sigmoid函数， 以减少计算量提高运算速度，使得该算法在提高精度的同时提高了计算速度。通过与传统基于径向基函数的最小 二乘强化学习算法和基于极限学习机的最小二乘 TD算法在广义 Hop—world问题的对比实验，比较结果证明了所 提出算法在满足精度的条件下有效提高了计算速度，甚至某些条件下精度比其他两种算法更高。 关键词：强化学习；激活函数；递归最小二乘算法：函数逼近；广义Hop—world问题 中图分类号：TP29 文献标志码：A 文章编号：0438—1157(2017)03—0916—09 Recursiveleast-squaresTD )learningalgorithmbasedonimprovedextreme learningmachine XU Yuan，HUANG Bingm ing，HEYanlin (SchoolofinformationScienceTechnology，BeijingUniversityofChemicalTechnoloyg，Bejiing100029，China) Abstract：Tomeettherequirementsonaccuracyandcomputationaltimeofvalueapproximationalgorithms，a recursive least-squarestemporaldifferencereinforcementlearning algorithm with eligibilitytracesbased on improvedextremeleamingmachine(RLSTD )-IELM)wasproposed．First，arecursiveleast—squarestemporal differencereinforcementlearning (RLSTD)wascreatedbyintroducingrecursivemethodintoleast—squares temporaldifferencereinforcementleamingalgorithm (LSTD)，inordertoeliminatematrixinversionprocessin least—squaresalgorithm andtoreducecomplexityandcomputationoftheproposedalgorithm．Then，eligibility rtacewasintroducedinto