基于改进强化学习的机械臂无标定视觉伺服控制.pdfVIP

中文摘要 摘 要 机械臂无标定视觉伺服控制不需要对摄像机的内外参数进行精确标定，其利 用摄像机获取的图像信息，控制机械臂在笛卡尔空间中的运动，增强了机械臂对控 制环境的抗干扰能力，提高了控制系统的鲁棒性。 无标定视觉伺服在图像空间设计控制律，利用在线估计的图像雅克比矩阵反 映图像特征变化与机械臂关节角度变化的非线性关系。但是由于没有建立精确的 视觉映射模型，无标定视觉伺服对机械臂在笛卡尔空间的最优运动轨迹的跟踪并 不理想。针对此问题，本文引入了改进强化学习算法，强化学习具备免模型、自学 习的优点，能够让机械臂通过自主学习的方式逼近最优运动轨迹。对于标准强化学 习算法存在的收敛速度慢，学习效率低的问题，本文基于先验知识优化了强化学习 的动作选择策略，缩短其动作探索时间，进而提高强化学习的学习效率。 本文的主要研究工作如下： ① 提出了基于改进强化学习的机械臂无标定视觉伺服控制方法。首先基于先 验知识改进强化学习，将机械臂与环境交互获得的经验信息作为先验知识，利用先 验知识构造一个动作选择函数，将其与 -贪心算法结合，构成强化学习的动作选  择策略。利用该策略指导强化学习的动作选择，减少探索最优学习动作的次数，降 低学习的任务量。然后基于Kalman 滤波算法在线估计图像雅克比矩阵和机械臂末 端在笛卡尔空间的位姿，改进强化学习算法根据该位姿评估并调整控制策略，进而 优化机械臂在笛卡尔空间的运动轨迹。 ② 在 MATLAB 仿真平台下，利用机器人工具箱和视觉工具箱搭建了仿真环 境，并进行了基于改进强化学习的机械臂无标定视觉伺服仿真实验。通过与基于标 准强化学习算法的仿真实验对比，验证了在仿真环境中，利用本文所提方法控制的 机械臂，在笛卡尔空间具有更优的运动轨迹。 ③ 基于Denso 机器人公司生产的六自由度工业机械臂、RC7M 控制器、CCD 工业摄像机和PC 计算机，搭建了机械臂无标定视觉伺服实验平台，并利用本文所 提方法进行了机械臂无标定视觉伺服空间定位实验。通过对比实验，验证了本文所 提方法在实物平台中同样具有更好的控制效果。 关键词：无标定视觉伺服；先验知识；强化学习；Kalman 滤波；机械臂 I 英文摘要 ABSTRACT Uncalibrated visual servo control of manipulator does not require to accurately calibrate camera parameters, it uses the image information acquired by the camera to control the motion of the manipulator in Cartesian space, which enhances the anti- jamming capability of manipulator to the control environment and improves the robustness of the control system. Uncalibrated visual servo design control law in the image space, using online estimated image Jacobian matrix to reflect the nonlinear relationship between image feature change and j oints angle change of manipulator. However, since the accurate visual mapping model is not established, the tracking of the optimal motion traject