面向智能驾驶的深度学习综合实验平台构建及项目实现.pdfVIP

ISSN1002-4956实验技术与管理第41卷第1期2024年1月

CN11-2034/TExperimentalTechnologyandManagementVol.41No.1Jan.2024

DOI:10.16791/j.cnki.sjg.2024.01.014

面向智能驾驶的深度学习综合

实验平台构建及项目实现

陈琪，付嘉炜，何毓辉

（华中科技大学集成电路学院，湖北武汉430074）

摘要：搭建了面向智能驾驶的深度学习综合实验平台。平台包括基于CoppeliaSim的智能驾驶虚拟仿真系统和

基于英伟达JetsonNano嵌入式小车的交通沙盘实物系统。基于该平台设计的实验方案，涉及了深度学习主要知识

点，实现了智能驾驶若干子场景，采用了边缘人工智能常用方案“云端训练+边缘推断”。基于上述虚拟仿真系统，

建模并训练实现了深度强化学习Q值网络、卷积神经网络、循环神经网络等多种类别神经网络。实物系统测试结

果表明，该平台基于上述神经网络能够有效实现车道保持、交通标志牌识别、语音控制等智能驾驶场景。学生可

利用该平台自主搭建需要的场景，接入不同类型的神经网络，实现其他智能驾驶功能，并完成深度学习相关算法

的测试和评估。

关键词：智能驾驶；深度学习；虚拟仿真；嵌入式系统

中图分类号：TP274-45；G642.0文献标识码：A文章编号：1002-4956(2024)01-0108-07

人工智能是当前最热门的一项技术，主要包括计验教学。PyTorch是基于Python编程语言的开源机器

算机视觉、自然语言理解与交流、认知与推理、机器学习库，平台可通过调用该库中的相关函数搭建多种

[1]结构的神经网络模型。CoppeliaSim软件是一款基于物

人学、博弈与伦理和机器学习等。其中，机器学习

（machinelearning，ML）是实现人工智能的必经路径，理引擎和分布式控制架构、具有集成开发环境的动力

而深度学习（deeplearning，DL）概念源于对人工神学机器人模拟器[4]。平台可基于丰富的模型库选择所

经网络的研究，是机器学习领域的一个新兴研究方向。需的部分模型，也可个性化定制实验所需的仿真场景。

深度学习能够使机器模仿视听、思考决策等人类活动，基于CoppeliaSim提供的数据双向传输接口与传感器

尤其在语音和图像识别方面解决了很多复杂的模式识实时仿真数据，平台可进行相关神经网络训练，并验

别难题，大大推进了人工智能相关技术的发展，也大证算法的可行性与效率。仿真平台架构如图1所示[5]。

大推进了基于深度学习神经网络的智能驾驶系统从理

论研究到产业实践的快速发展[2]。

基于上述背景，本文构建了一个面向前沿工程应

用的智能驾驶系统——虚拟综合实验平台。该系统基

于嵌入式芯片神经网络，涵盖了深度学习的主要知识

点，体现了集成电路专业特点，符合高水平“新工科”

创新人才培养需求[3]。

1智能驾驶实验实践平台搭建图1虚拟仿真系统架构图

1.1虚拟仿真系统搭建在CoppeliaSim中选择先锋P3-DX型机器人构建

该虚拟仿真实验系统主要通过PyTorch和智能小车，选择RGB型摄像头，并将其搭载至小车

CoppeliaSim搭建，可实现基于真实物理仿真引擎的实上。再通过AutodeskInventor、RoadRunner等