【浙江大学】DS系列专题：DeepSeek技术溯源及前沿探索.pptx

;

四、DeepSeek;

LanguageModeling

对于任意的词序列，计算出这个序列是一句话的概率;

1;

WordEmbedding

用一个低维的词向量表示一个词

能使距离相近的向量对应的物体有相近的含义;;

Transformer(2017after);

Encoder-Decoder

常见的深度学习模型框架，可用于解决Seq2Seq问题;

二、Transformer;

2019

OCT;

AttentionIsAllYouNeed

NIPS2017，引用量15万+

引入全新注意力机制，改变了深度学习模型的处理方式;

中国南北饮食文化存在差异，豆花有南甜北咸之分。南方人一般喜欢吃甜豆花

Sheiseatingagreenapple.

Theanimaldidntcrossthestreetbecauseitwastootired/wide;

Transformer:（自）注意力机制

在理解图像任务时，Attention机制本质上是一种图像特征抽取;

场景：你在图书馆想找一本关于“机器学习基础”的书;;

GPTJun

2018;

T5–2019

BART–2019mT5–2021

…;

原话：一辆列车缓慢行驶在崎岖的山路上

移除单词：一辆列车行驶在崎岖的山路上

预测填空：一辆列车缓慢行驶在崎岖的山路上;

MaskedAutoEncoders（MAE）通过随机遮盖部分输入数据（如图像）并重建

缺失内容，让模型从上下文中学到图像的深层特征，常用于计算机视觉任务。;

Self-supervisedPrompt

Fine-tune;

大语言模型（LLM）

LargeLanguageModel

大模型

LargeModel

多模态大模型（LMM）

LargeMultimodalModel

科学计算模型ScienceModel;

OpenAI必威体育精装版15页报告:DeepSeek缩小中美AI差距;

DeepSeek以一己之力改变了开源和闭源的力量对比：从6~12个月的代差缩短到1~3个月;;

三、ChatGPT;

2020

MAY;

GPT-3;

GPT-3Series;;;;;

2023

FEB;

2023.06;

2024.06;

2024.09;

三、ChatGPT;

2019

OCT;

基础生成模型

推理模型初试

推理横型大成

R1蒸馏小模型;

Step1:DeepSeek-V3Base;

Step2:DeepSeek-R1-Zero;

基础生成模型

推理模型初试

推理横型大成

R1蒸馏小模型;;

教育

客服服务

（智能客服）;

二、Transformer;

Deepseek;

SAVINGTAXDOLLARS;SAVINGLIVES:USINGNUDGETHEORYTOELIMINATEOUTDATEDEMERGENCYLOCATOR;

Short-term

memory

Tools;

空间规划

土地利用规划功能区规划

...;

THANKS

感谢观看