深度学习及自动驾驶应用 课件 第8、9章 基于Transformer的自动驾驶目标检测理论与实践、生成对抗网络及自动驾驶应用.pptx

基于Transformer的自动驾驶目标检测理论与实践第八章DeepLearningAndAutonomousDriving深度学习与自动驾驶应用

DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第2页8.4Transformer自动驾驶应用8.1Transformer概述8.3VisionTransformer介绍8.2Transformer基本理论8.5实践项目目录Content

DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第3页8.1Transformer概述为什么要用Transformer

DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第4页8.1Transformer概述Seq2Seq任务：指的是输入和输出都是序列，且输出长度不确定时采用的模型;这种情况一般是在机器翻译的任务中出现，将一句中文翻译成英文，那么这句英文的长度有可能会比中文短，也有可能会比中文长，所以输出的长度就不确定了。输入的中文长度为4，输出的英文长度为2Seq2Seq任务

DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第5页8.1Transformer概述如何处理Seq2Seq任务其实在之前我们使用的是RNN（或者是其的单向或者双向变种LSTM/GRU等）来作为编解码器，RNN模块每次只能够吃进一个输入token和前一次的隐藏状态，然后得到输出。它的时序结构使得这个模型能够得到长距离的依赖关系，但是这也使得它不能够并行计算，模型效率十分低。在没有transformer的时候，我们都是用什么来完成这系列的时序任务的呢？

DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第6页8.1Transformer概述Encoder-Decoder模型Seq2Seq任务最常见的是使用Encoder+Decoder的模式，先将一个序列编码成一个上下文矩阵，在使用Decoder来解码。当然，我们仅仅把contextvector作为编码器到解码器的输入。

DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第7页8.1Transformer概述Attention注意力机制在介绍什么是注意力机制之前，先让大家看一张图片。当大家看到右边这张图片，会首先看到什么内容？当过加载信息映入眼帘时，我们的大脑会把注意力放在主要的信息上，这就是大脑的注意力机制。

DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第8页8.1Transformer概述Attention注意力机制

DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第9页8.1Transformer概述Transformer整体模型架构2017年google的机器翻译团队在NIPS上发表了Attentionisallyouneed的文章，开创性地提出了在序列转录领域，完全抛弃CNN和RNN，只依赖Attention-注意力结构的简单的网络架构，名为Transformer；论文实现的任务是机器翻译。Multi-HeadAttentionAddNormInputEmbeddingOutputEmbeddingFeedForwardAddNormMaskedMulti-HeadAttentionAddNormMulti-HeadAttentionAddNormFeedForwardAddNormLinearSoftmaxInputsOutputs(shiftedright)PositionalEncodingPositionalEncodingTransformer结构

DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第10页8.1Transformer概述每个词的Attention计算每个词的Q会跟整个序列中每一个K计算得分，然后基于得分再分配特征Q:query，要去查询的K:key，等着被查的V:value，实际的特征信息

DeepLearningAndAutonomousDriving深度学习与自动驾驶应用第11页8.4Transformer自动驾驶应用8.1Transformer概述8.3VisionTransformer介绍8.2Transformer基本理论8.5