无人驾驶铰接式车辆强化学习路径跟踪控制算法 - 农业机械学报.pdf

２０１７年 ３月 农 业 机 械 学 报 第 ４８卷 第 ３期 ｄｏｉ：１０．６０４１／ｊ．ｉｓｓｎ．１０００１２９８．２０１７．０３．０４８ 无人驾驶铰接式车辆强化学习路径跟踪控制算法 １ １，２ １ １ １ １ 邵俊恺 　赵　隨 　杨　珏 　张文明　康翌婷 　赵鑫鑫 （１．北京科技大学机械工程学院，北京 １０００８３；２．北京华为数字技术有限公司，北京 １０００８５） 摘要：针对无人驾驶铰接式运输车辆无人驾驶智能控制问题，提出了一种强化学习自适应 ＰＩＤ路径跟踪控制算法。 首先推导了铰接车的运动学模型，根据该模型建立实际行驶路径与参考路径偏差的模型，以ＰＩＤ控制算法为基础， 设计了基于强化学习的自适应 ＰＩＤ路径跟踪控制器，该控制器以横向位置偏差、航向角偏差、曲率偏差为输入，以 转角控制量为输出，通过强化学习算法对 ＰＩＤ参数进行在线自适应整定。最后在实车道路试验中验证了控制器的 路径跟踪质量并与传统 ＰＩＤ控制结果进行了对比。结果表明，相比于传统 ＰＩＤ控制器，强化学习自适应 ＰＩＤ控制 器能够有效减小超调和震荡，实现精确跟踪参考路径，可以较好地实现系统动态性能和稳态误差性能的优化。 关键词：铰接式车辆；驾驶；强化学习；路径跟踪 ＋ 中图分类号：ＴＰ２７３；Ｕ４６３３２５ 文献标识码：Ａ 文章编号：１０００１２９８（２０１７）０３０３７６０７ ＲｅｉｎｆｏｒｃｅｍｅｎｔＬｅａｒｎｉｎｇＡｌｇｏｒｉｔｈｍｆｏｒＰａｔｈＦｏｌｌｏｗｉｎｇ ＣｏｎｔｒｏｌｏｆＡｒｔｉｃｕｌａｔｅｄＶｅｈｉｃｌｅ １ １，２ １ １ １ １ ＳＨＡＯＪｕｎｋａｉ　ＺＨＡＯＸｕａｎ 　ＹＡＮＧＪｕｅ　ＺＨＡＮＧＷｅｎｍｉｎｇ　ＫＡＮＧＹｉｔｉｎｇ　ＺＨＡＯＸｉｎｘｉｎ （１．ＳｃｈｏｏｌｏｆＭｅｃｈａｎｉｃａｌＥｎｇｉｎｅｅｒｉｎｇ，ＵｎｉｖｅｒｓｉｔｙｏｆＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙＢｅｉｊｉｎｇ，Ｂｅｉｊｉｎｇ１０００８３，Ｃｈｉｎａ ２．ＢｅｉｊｉｎｇＨｕａｗｅｉＤｉｇｉｔａｌＴｅｃｈｎｏｌｏｇｉｅｓＣｏ．，Ｌｔｄ．，Ｂｅｉｊｉｎｇ１０００８５，Ｃｈｉｎａ） Ａｂｓｔｒａｃｔ：Ｗｉｔｈｔｈｅｉｎｄｕｓｔｒｙ４０ｅｍｂｒａｃｅｄａｎｕｍｂｅｒｏｆｃｏｎｔｅｍｐｏｒａｒｙａｕｔｏｍａｔｉｏｎ，ｄａｔａｅｘｃｈａｎｇｅａｎｄ ｍａｎｕｆａｃｔｕｒｉｎｇｔｅｃｈｎｏｌｏｇｉｅｓ，ｔｈｅａｕｔｏｎｏｍｏｕｓｄｒｉｖｉｎｇｓｙｓｔｅｍ ｉｓｗｉｄｅｓｐｒｅａｄ．Ｉｎｏｒｄｅｒｔｏｅｎａｂｌｅｔｈｅ ａｕｔｏｎｏｍｏｕｓｄｒｉｖｉｎｇ，ｐａｔｈｆｏｌｌｏｗｉｎｇｓｔｒａｔｅｇｉｅｓａｒｅｅｓｓｅｎｔｉａｌｔｏｍａｉｎｔａｉｎｔｈｅｎｏｒｍａｌｗｏｒｋｏｆｔｈｅｖｅｈｉｃｌｅｓ． Ｔｈｅａｒｔｉｃｕｌａｔｅｄｆｒａｍｅｓｔｅｅｒｉｎｇｖｅｈｉｃｌｅｓ（ＡＳＶ）ａｒｅｆｌｅｘｉｂｌｅ，ｅｆｆｉｃｉｅｎｔａｎｄｗｉｄｅｌｙｉｍｐｌｅｍｅｎｔｅｄｉｎ ａｇｒｉｃｕｌｔｕｒｅ，ｍｉｎｉｎｇ，ｃｏｎｓｔｒｕｃｔｉｏｎａｎｄｆｏｒｅｓｔｒｙｓｅｃｔｏｒｓｄｕｅｔｏｔｈｅｉｒｈｉｇｈｍａｎｅｕｖｅｒａｂｉｌｉｔｙ．Ｔｈｅａｒｔｉｃｕｌａｔｅｄ ｖｅｈｉｃｌｅｕｓｕａｌｌｙｃｏｍｐｏｓｅｓｏｆｔｗｏｕｎｉｔｓ，ａｔｒａｃｔｏｒａｎｄａｔｒａｉｌｅｒ，ｗｈｉｃｈａｒｅｃｏｎｎｅｃｔｅｄｂｙａｎａｒｔｉｃｕｌａｔｉｏｎ ｊｏｉｎｔ．Ｈｏｗｅｖｅｒ，ａｓｔｈｅＡＳＶｄｙｎａｍｉｃｓａｒｅｓｉｇｎｉｆｉｃａｎｔｌｙｄｉｆｆｅｒｅｎｔｆｒｏｍｔｈｅｃｏｎｖｅｎｔｉｏｎａｌｖｅｈｉｃｌｅｓｗｉｔｈｆｒｏｎｔ ｗｈｅｅｌｓｔｅｅｒｉｎｇ，ｔｈｅｐａ