基于马氏决策向量过程模型的有限阶段期望总报酬准则及其最优方程.pdfVIP

第 3l卷 第 4期 数学理论与应用 V01．31No．4 2011年 l2月 MATHEMATICALTHE0RY AND APPLICAn0NS DeC．2011 基于马氏决策向量过程模型的有限阶段期望 总报酬准则及其最优方程 陈 杰 刘再明 邢灵博 (1．琼州学院理工学院，海南，572022) (2．中南大学数学科学与计算技术学院，长沙，410075) 摘 要 在马氏决策向量过程模型的理论基础上，结合决策向量和相合度等新定义，进一步提 出有限阶段期 望总报酬准则和最优方程，并证明最优方程的解的存在性． 关键词 马氏决策向量过程模型 报酬准则 最优方程 存在性 TheFiniteStageofExpectedToatllReward M odelandOptimalityEquationofMarkovin Decision——makingVectorProcesses ChenJie LiuZaiming XingLingbo (1．CollegeofScienceandEngineering，QiongzhouUniversity，Snaya572,022，China) (2．SchoolofMathematics，CentralSouthUniversity，Changsha410075) Abstract ByapplyingMarkovdecision——makingvectorprocessestheorynadthenewdefinitionofdecision——making vector，consistencydegree，ETC．Thispaperwillstudythefinitestageofexpectedtotallrewardmodelnadoptimality equationinMarkovdecision—makingvectorprocesses．Finallyweprovedtheexistenceofsolutionsintheoptimality equation． Keywords Markovdecision—makingvcetorprocesses Expectedtotallrewardmodel Optimalityequation EXistenee 0 引言 20世纪4O年代末50年代初，BellmanR．研究动态规划问题，ShapleyL．研究随机对策问 题时提出了MDP的基本思想 ¨，HowardR．(1960)的研究工作则奠定了MDP的理论基础 ． 琼州学院青年基金资助项 目，编号QYQN201126 收稿 日期：2011年 11月03日 数学理论与应用 早期的MDP模型大致可分为三大类 ：离散时间马氏决策过程(DTMDP)、连续时间马氏决策过 程 (CTMDP)和半马氏决策过程(SMDP)．这些 MDP模型描述实际问题时，往往出现状态未必 完全可观察、目标函数可能多于一个、模型的参数可能为未知的、折扣因子的精确值不易确定、 模型可能有约束条件等诸多问题．学者们据此进一步发展了更加接近于实际问题的MDP模 型，如状态部分可观察的MDP、多 目标MDP、自适应MDP、参数不确定MDP、带约束条件MDP、 摄动MDP等等，并提出了一类参数随环境变化而变化的MDP模型，即随机环境MDP模型和 混合MDP模型 ． 然而在传统马氏决策过程 (MDP)模型中存在着一个共同局限性，即在决策时刻只采取单 个行动来确定系统的状态转移概率．但在实际问题中，状态转移概率可能依赖于多个行动．为 了克服传统 MDP模型的这种局限性，文献 [4]在决策时刻引入了多元行动来确定系统的状态 转移概率，并通过运用传统MDP的基本理论以及结合多元行动集、决策向量、相合度等新定 义，提出了马氏向量决策过程模