汽车智能技术与应用 课件 第4章 智能汽车驾驶感知与路径 规划.pptx

汽车智能技术与应用

第四章 智能汽车驾驶感知与路径规划

学习目标能够说出无人驾驶汽车对驾驶环境的感知的技术原理能够解释无人驾驶汽车信息融合的原理与方法能够解释深度学习算法对图像处理的技术原理与方法能够说出无人驾驶汽车目标检测的技术原理与方法能够说出无人驾驶汽车路径规划的技术原理与方法能够说出无人驾驶汽车智能定位与跟踪的方法

1894.1环境感知与信息融合

4.1环境感知与信息融合?1.环境感知请说明什么是环境感知？其条件有哪些？5

4.1环境感知与信息融合6

4.1环境感知与信息融合无人驾驶的四项核心技术是环境感知、精确定位、路径规划和线控执行。基于视觉的环境感知无法满足无人驾驶汽车的自动驾驶要求，环境感无人驾驶汽车所面临的实际路况更加复杂，需要建立大量的数学方程和数据集来处理实时生成的海量数据。KITTI数据集是目前世界上最大的自动驾驶场景下计算机视觉算法评估数据集。请详细说明KITTI数据集的技术特征7

4.1环境感知与信息融合KITTI数据采集平台包括2个灰度相机、2个彩色相机、1个三维激光雷达、4个光学镜头和1个GPS导航系统。提供的数据包含3个校准文件，不需要人工转换。8

4.1环境感知与信息融合为了生成双目立体图像，相同类型的摄像头相距54cm安装。由于彩色摄像机的分辨率和对比度不够好，所以还使用了两个立体灰度摄像机，它和彩色摄像机相距6cm安装。为了方便传感器数据标定，规定坐标系方向如下：Camera:x=right,y=down,z=forward；Velodyne:x=forward,y=left,z=up；GPS/IMU:x=forward,y=left,z=up。9

4.1环境感知与信息融合10

4.1环境感知与信息融合11

4.1环境感知与信息融合12

4.1环境感知与信息融合13

4.1环境感知与信息融合?2.信息融合14

4.1环境感知与信息融合?（1）多传感器信息融合方法分类根据数据融合的不同层次，多传感器信息融合方法分为三类：低级信息融合、中级信息融合和高级信息融合，分别对应于传统多源信息融合中的数据级信息融合、特征级信息融合和目标级数据融合。1）低级融合：请说明什么是低级融合？2）中级融合：请说明什么是中级融合？3）高级融合：请说明什么是高级融合？信息融合系统主要包括四个子系统。一是信息源阶段，即原始数据；二是信息处理阶段；三是分析决策阶段；四是信息源阶段融合结论输出阶段。15

4.1环境感知与信息融合16

4.1环境感知与信息融合融合层上将传感器融合分为原始数据级融合、特征数据级融合和目标数据级融合。在单个传感器中，越接近原始数据，干扰信号与真实信号共存的可能性就越大，即融合开始越早，真实信息的保留和干扰信息的去除就越好，但同时也为数据的同步计算和处理算法带来了挑战。17

4.1环境感知与信息融合18

4.1环境感知与信息融合?（2）环境感知信息融合关键技术智能网联汽车环境感知信息融合包括单车多传感器信息融合和多车多传感器协同定位两个维度，两者均采用目标级融合信息方法。关键技术包括：时空参考对准技术、多目标相关技术、参数融合技术、多目标跟踪预测技术和目标分类识别技术，请分别说明。19

4.1环境感知与信息融合?（3）融合系统架构基于目标层信息融合方法，具体的执行过程是相机模块首先完成目标检测，将信息发送到雷达模块，雷达完成最终融合工作。请根据右图详细说明其融合机理。20

4.1环境感知与信息融合?（4）应用案例：日产奇骏T30的“ProPILOT”超智驾的巡航控制系统请说明日产奇骏T30的“ProPILOT”超智驾的巡航控制系统的工作原理与功能应用21

2074.2 深度学习算法在图像处理中的应用

4.2深度学习算法在图像处理中的应用智能驾驶的应用场景中，相比于简单工况，开放道路复杂环境的驾驶决策需要对复杂信息进行分析建模，并在海量信息的支持下做出最优决策。在智能交通和车辆智能化发展的背景下，汽车可以获取更多的外界信息，以模型预测控制为代表的先进控制方法与以深度学习、强化学习为代表的人工智能新技术得到了广泛应用。23

4.2深度学习算法在图像处理中的应用?复杂环境下驾驶决策与规划方法24

4.2深度学习算法在图像处理中的应用25

4.2深度学习算法在图像处理中的应用?深度学习中图像语义分割的图像26

4.2深度学习算法在图像处理中的应用27

4.2深度学习算法在图像处理中的应用28

4.2深度学习算法在图像处理中的应用29

4.2深度学习算法在图像处理中的应用以NVIDIA为例，NVIDIA在利用卷积神经网络实现