一种改进的自适应近端策略优化算法.pdfVIP

第42卷第3期计算机仿真2025年3月

文章编号：1006-9348(2025)03-0404-06

一种改进的自适应近端策略优化算法

王慧,李虹，何秋生，李占龙

（1.太原科技大学电子信息工程学院，山西太原030024；

2.太原科技大学车辆与交通工程学院，山西太原030024）

摘要：针对传统的近端策略优化(PPO)惩罚算法在训练过程中存在收敛性不好的问题，提出一种改进的PPO惩罚算法。通

过将基于常量自适应更新惩罚系数的方法改为基于函数自适应更新的方法，使惩罚系数与散度相关联，并随着散度的变化

以一定的趋势发生改变，从而改善算法的收敛性和学习的可靠性，上述方法使得算法更加灵活且适应性更强。经仿真验证，

改进的PPO惩罚算法在收敛性和学习可靠性方面优于传统的PPO惩罚算法，并使用分布式PPO算法进一步验证了改进方

法的有效性，为后续强化学习算法的研究提供了新的思路和方法。

关键词：强化学习；近端策略优化；自适应惩罚系数

中图分类号：TP301.6文献标识码：B

AnAdaptiveControlApproachforProximalPolicyOptimization

WANGHui,LIHong,HEQiu-sheng,LIZhan-long

(1.TaiyuanUniversityofScienceandTechnology,SchoolofElectronicandInformation

Engineering,TaiyuanShanxi030024,China;

2.TaiyuanUniversityofScienceandTechnology,SchoolofVehicleandTraffic

Engineering,TaiyuanShanxi030024,China)

ABSTRACT:AnimprovedProximalPolicyOptimization(PPO)penaltyalgorithmisproposedtoaddresstheissueof

poorconvergenceinthetrainingprocessoftraditionalProximalPolicyOptimizationpenaltyalgorithms.Bychanging

themethodofupdatingpenaltycoefficientsbasedonconstantadaptationtothemethodoffunctionadaptation,thepen-

altycoefficientsareassociatedwithdivergenceandchangeinacertaintrendwiththevariationofdivergence,thereby

improvingtheconvergenceandlearningreliabilityofthealgorithm.Thismethodmakesthealgorithmmoreflexible

andadaptable.ThesimulationresultsshowthattheimprovedProximalPolicyOptimizationpenaltyalgorithmissupe-

riortothetraditionalProximalPolicyOptimizationpenalt