大模型的异构计算和加速.pdfVIP

大语言模型的异构计算和加速

戴金权(JasonDai)

英特尔院士

1

自回归大语言模型(基于Transformer解码器架构）

自回归大语言模型：预测下一个tokenTransformer解码器架构

3

Transformer解码器架构

训练;推理(第一个token/Prefill)

4

Transformer解码器架构

推理(下一个token/Decode)

5

大语言模型推理和训练瓶颈

▪内存带宽

▪计算

▪显存大小

▪分布式计算(互联)

6

大模型的异构计算和加速

▪XPU异构计算

•CPU,GPU,NPU硬件加速

…

2~10xArcA770GPU(16GB)

客户端边缘端服务器

（IntelCoreUltraAIPC）（IntelAI座舱）（IntelXeon+IntelArcGPUs）

7

大模型的异构计算和加速

▪低比特计算

•模型量化/压缩(WxAy)

•数据类型(INTx,FPx)

•低比特算子

•显存(如kvcache)使用量

•训练、微调(如QLoRA)

8

低比特大模型的精度

困惑度(Wikitext数据集)

9

大模型的异构计算和加速

▪推理算法优化

•Self-speculativedecoding