采用多智能体强化学习的交通信号优化控制.pdfVIP

学兔兔 务I 訇 出 采用多智能体强化学习的交通信号优化控制 Implementing traffic signal optimal control by multiagent reinforcement learning 宋 炯。。金 钊 SONG Jiong。．JIN Zhao (1．云南交通职业技术学院。昆明6501 01；2．云南大学。昆明650091) 摘 要：在城市交通环境，交通流的正确预测是比较困难，因为多个十字路口，这使得预设的交通控制 模型之间的相互作用和纠缠在一起，不能在所有的交通情况下始终保持高性能的预测。考虑 到的强化学习的所具有的自主学习能力，本文提出了基于多智能体强化学习的交通信号控制方 法。没有预设的控制模型，多协作代理可以学习相应的实时交通状况下的最优控制策略。通过 实验结果证明了这种方法的可行性和有效性。 关键词：交通信号控制；多智能体强化学习；自主学习；多十字路口的城市交通；交通流量 中图分类号：TP1 81 文献标识码：A 文章编号：1 009-01 84(201 2)09(上)-001 3-04 Doi：1 0．3969／J．issn．1 009-01 34．201 2．9(I-)．05 0 引言 实现智能交通信号控制是一种减少交通拥堵 和提高交通效率的低成本方法…。因为交通流量 具有随时变化和随机性的特点，尤其是在多十字 路口的城市交通环境，因此流量建模仍然是非常 困难的。一个预设的交通控制模型是不可能符合 所有的交通情况。所以有更多研究关注机器学习 的实时交通流量控制[2 。在所有机器学习的方法 中，强化学习受到更多的关注，因为其自主学习 的能力，使得能够智能感知不同的条件和自我自适 应调整控制策略，以符合交通条件。 虽然在参考文献[2]中提出了自适应减少时间 延迟的交通信号控制的Q学习方法，但只考虑了 一 个十字路口的情况。A．Salkham【3 提供了一个强 图1 由六个十字路口的城市交通网络构建的仿真环境 化学习交通控制优化框架，但对硬件基础设施依 赖较大。Li T【4 等学者提出了一种自适应动态规 然这些问题都受到关注，但都没有进一步详细讨 划方案实施多十字路口的交通信号智能控制，但 论和研究。 针对相互作用和相互影响的多交叉路口的情况却 在本文中，作者提出了一种多智能体强化学 没有进一步探讨。在参考文献[5～7]中，可以看到 习的多十字路口的交通信号控制模型。 到一些类似的研究。这些研究表明使用自主学习 首先，作者定义多十字路口的交通信号控制 的强化学习解决随时变化和随机性交通流量问题， 问题的多智能体的强化学习模型，其中包括状态 一 直是智能交通信号控制研究的重点之一 】。虽 空间、目标状态、行动和培训的事件，完整描述 收稿日期：2012-02-13 基金项目：云南省教育厅自然科学基金 (2010Y249) 作者简介：宋炯 (1967一)，男，云南昆明人，高级工程师，副教授，硕士，研究方向为计算机软件工程、计算机网 络、人工智能、机器学习、智能交通和车载网络。