人工智能技术及应用 课件 张文安ch6-行人检测实践；ch7-车道线检测实践.pptx

6行人检测实践HISTORYOFDEVELOPMENTChapter06

本章目录数据采集与标注01模型训练02模型转换与量化03项目落地与部署04

6行人检测实践本章主要介绍的是基于目标检测的行人识别，行人检测主要用于保障车辆盲区的安全，尤其是商用车，由于车身庞大，存在较多盲区，且车长带来的内轮差也会让行人不经意间就进入了车辆的危险区域。行人检测利用摄像头照射车辆盲区，一旦有行人进入盲区则对司机和行人进行提醒。整个项目主要流程如图所示，本章节也会按照该顺序依次讲解整个流程。

6.1数据集采集与标注6.1.1素材采集数据来源主要有两个：1)公开数据集行人检测是一个应用范围比较广的项目，行人标签也是各大数据集中常见的标签，前期没有足够的“财力”和“精力”去收集、标注素材的情况下，使用公开数据集训练是一个不错的办法。除了深度学习界人尽皆知的coco、voc数据集，还有不少可以用来训练的带有行人标签的公开数据集，其实相比coco、voc数据集，这些数据集会更加符合本实践项目的场景。数据集：CaltechPedestrianDetectionBenchmark存放地址：/Image_Datasets/CaltechPedestrians/数据集：TheCityscapesDataset存放地址：/数据集：TheEuroCityPersonsDataset存放地址：https://eurocity-dataset.tudelft.nl/2)自主采集如果有私家车，并且装了行车记录仪，可以从行车记录仪中导出视频作为素材，如果没有，那么在视频网站有哪些信誉好的足球投注网站行车记录仪，也能获取到他人上传的行车记录仪视频，挑选清晰度较高的视频下载即可。

6.1数据集采集与标注针对以上几点标注要求，给出几个标注的示例。1)如下左图人多杂乱，尽可能标记人能识别的人，远处杂乱无法区分轮廓的人不做标记。2)如上右图左边远处骑车可以辨别人形，需要标记；右边两人虽有重叠但依旧可以单独区分开，需要分开标记；中间的人手臂部分超出身体轮廓太多，仅标记身体部分；中间偏右的黑色人群无法区分不做标记。

6.1数据集采集与标注针对以上几点标注要求，给出几个标注的示例。3)如下左图对于这类已经动态模糊比较严重的情况，不需要标记（图中框只是展示下），否则会对训练造成干扰。4)如上右图被护栏挡住的行人，如果某些角度隔着护栏依旧可以看到腿需要标注全身，若护栏将腿完全挡住，则仅标记身体露出的部分。

6.1数据集采集与标注针对以上几点标注要求，给出几个标注的示例。5)如下左图人行道上的行人和骑车的人虽然被柱子和树遮挡，但依旧可以辨别为人，需要标记，但标记露出的部分，不要将柱子标记进去；对于骑车的人不要刻意去标记车的部分，把人的轮廓标记全，框里面尽量是人的信息。6)如上右图中间骑车带人虽然有两个人，但已经完全重叠，只需要标记一个即可。

6.1数据集采集与标注6.1.3小结素材是一切深度学习项目的基础，行人识别的项目在素材采集和标注方面难度并不算太大。前期使用广大公开数据集的行人素材，也可以让算法得到一个不错的效果，但倘若要把效果做到更好，在素材方面则需要用更多真实的场景进行扩充。如今市面上还有很多素材标注公司，他们不光提供素材标注的服务，同时出售素材或者按需求采集素材，如果项目时间紧迫但有足够的预算，找他们帮忙也是一个不错的选择。

6.2模型训练6.2.1模型设计思想本实验使用SSD的目标检测网络，在正式进入项目之前，简单介绍下其设计思想。若想了解详细细节，可以参考论文《SSD:SingleShotMultiBoxDetector》。SSD是一种引人注目的目标检测结构，它结合了直接回归框和分类概率的方法，又利用大量的预选框来提升识别准确度。ssd在预测阶段不仅仅使用最后一层的特征映射，而是取出中间层的特征，在不同尺寸的特征映射上对结果进行预测，虽然增加运算量，但使检测结果具有更多个可能性，从而提升精度。如图所示是ssd的模型，从图中可以看出SSD的主干网络为VGG网络，作者在VGG-16的基础上，将FC6和FC7层转化为卷积层，去掉了所有的Dropout层和FC8层，添加了Conv6，Conv7，Conv8和Conv9层。

6.2模型训练为了从特征获取预测结果，分别取出conv4的第三层卷积特征、fc7卷积特征，conv6的第二次卷积特征，conv7的第二次卷积特征，conv8的第二次卷积特征和conv9的第二次卷积特征，共六个特征层作为有效特征层如图所示。对获取到的每个有效特征层做一次num_anchorsx4的卷积和一次num_anchorsxnum_classes的卷积，num_anchors指的是该特征层每一个特征点所拥有的先验框数量。上