《智能网联整车综合测试》课件——智能座舱硬件认知.pptxVIP

智能座舱硬件认知主讲教师：

课程导入

01智能座舱的整体架构02智能座舱技术架构及算法分析03信息输入部件认知04信息处理部件认知05信息输出部件认知

PART01智能座舱的整体架构

一、智能座舱的整体架构技术架构的发展传统座舱由单一芯片驱动单个功能或系统，通信开销大。智能座舱软硬件一体化聚合，实现车辆感知精细化，车辆在整个用车周期中，为驾乘人员主动提供场景化的服务，实现机器自主或半自主决策。

一、智能座舱的整体架构典型智能座舱整体框架应用算法软件应用软件算法软件中间件中间件组件（AutoSARRTE\ROS\分布式通信\管理平面\数据平面）系统软件操作系统内核HypervisorBSP驱动软件多核异构分布架构（DCU等域控制器）AI单元GPU\FPGA\ASIC计算单元CPU控制单元MCU芯片摄像头、雷达、GPSV2X（云控、地图等）动力、线控底盘等外围硬件GMSL/CSI、ETH、CANGMSL/CSI、ETH、CAN4G/5G/LTECAN\FlexRay车辆平台硬件平台

一、智能座舱的整体架构硬件平台硬件平台包含了AI单元、通信计算以及网关3个单元。AI单元：接触最多的单元，主要用于处理各类传感器的感知结果（音、频或其他信号），并且将处理后的结果传入处理器进行推理计算。通信单元：实现互通互联，包含GSM（全球移动通信系统）/GPRS（通用分组无线服务技术）/C-V2X（基于蜂窝网的车载通信技术）、GPS、WiFi以及蓝牙等的无线连接。网关单元：用于保障座舱域内安全可靠的数据传输、内置存储和常用网关接口，包括车载以太网(ETH)、控制器局域网(CAN.CANFD)、本地联网(LIN)和车内联网(FlexRay)等接口。

一、智能座舱的整体架构系统层系统层直接运行在硬件之上，用于提供底层算法、通信、状态管理等服务。系统层先是通过虚拟机监视器(Hypervisor)+板级支持包(BoardSupportPackage，BSP)的方式实现硬件平台的虚拟化，使得系统软件可以更方便地与不同硬件平台对接。由于底层操作系统开发周期长，投入资金大，因此当前汽车座舱底层操作系统均在QNX、Linux和Android的基础上定制开发，因此当前座舱底层操作系统以QNX和Linux为主。

一、智能座舱的整体架构中间件在智能基础平台里，多个分布的信息源与多个接收这些源的分布网络节点构成了异构分布式网络。目前解决异构分布式系统之间的互联和操作问题通常采用中间件技术。数据分布服务DDS(DataDistributionService)满足多种分布式实时通信要求。车载操作系统需要建立跨多单元、高速、高效的DDS机制，DDS可采用发布/订阅架构。基于系统层提供的感知、通信及管理等基础服务，中间件技术主要是实现座舱不同功能的模块化，用于上层座舱场景的开发。

一、智能座舱的整体架构应用层应用层就是座舱用户直接体验到的各类场景及功能。包含感知模块，如情绪感知、行为动作感知、疲劳感知等。场景开发平台可以根据这些感知结果进行具体的场景开发，例如，检测到驾驶员打电话时会进行语音提醒，检测到疲劳时，会播放音乐等。

PART02智能座舱技术架构及算法分析

二、智能座舱技术架构及算法分析技术架构交互应用车声控制系统控制第三方APP语音管理用户界面交互控制车机服务数据服务车身数据系统控制车身状态车身控制OTA决策中心标准接口封装场景/感知SDK内置/制定化场景图像/语音控制决策三方应用地图天气音乐底层芯片设备管理状态管理系统平台（硬件+驱动）SDIO、Camera、Power、CAN、Audio、Display、其他硬件适配层车机硬件DMS摄像头麦克风阵列IC显示屏车载音响其他底层芯片人脸识别多模语音性别年龄危险行为手势识别情绪识别AI模型其他图像语音车身数据数据个性化场景指令在现场景算法模型训练平台语音识别数据安全（过滤、脱敏）数据仓库账号鉴权OTA云端服务

二、智能座舱技术架构及算法分析算法分析目前，智能座舱算法模块大致分为以下四大类：驾驶员面部识别类：包含人头识别、人眼识别、眼睛识别等；驾驶员动作识别类：手势动作识别、身体动作识别、嘴唇识别等；座舱声音识别类：前排双音区检测、声纹识别、语音性别识别/年龄识别等；座舱光线识别类：座舱氛围灯、座舱主体背景、座舱内饰等。

PART03信息输入部件认知

三、信息输入部件认知车载摄像头车载摄像头被称为“自动驾驶的眼睛”，通过镜头和图像传感器实现图像信息采集，超过80%的自动驾驶技术都会运用到摄像头，或将摄像头作为一种解决方案。座舱内的摄像头有多种类型，根据安装位置不同，车载摄像头可分为前视摄像头、侧视摄像头、环视摄像头、后视摄像头及舱内摄像头。

三、信息输入部件认知