2024年大语言模型入门报告.docx

大语言模型入门

GettingStartedwithLargeLanguageModelsABeginnersGuideandLiveDemo

议程概述Agenda

。引言与自我介绍Introduction

。理解大语言模型UnderstandingLLM

。实际应用PracticalApplications

。演示：在GoogleColab上部署Llama3.1

Demo:DeployingLlama3.1onGoogleColab

。伦理考量与LLM的未来EthicalConsiderationsandFutureofLLMs。总结与问答SummaryandQA

啥是大语言模型WhatisLargeLanguageModel(LLM)

。大语言模型（LargeLanguageModel，LLM）。通过大量文本数据训练的一种人工智能模型。专门用于理解、生成和处理自然语言

训练数据输入中国的首都是？

训练数据

输入

中国的首都是？

输出

中国的首都是北京

LLM

如何理解大语言模型

○大规模

大量文本数据训练

大量参数的AI模型

GPT4(noto?cial)

●1.8Tparameters●120layers

●13Ttokens

CommonCrawlWebText2

Books1,Books2Wikipedia

网络爬虫公开数据集Reddit论坛网页文本互联网书籍语料库

维基百科知识库

如何理解大语言模型

○大规模

■大量参数的AI模型

■大量文本数据训练○语言

■基于自然语言处理(NatureLanguageProcessing/NLP)

■能够理解、生成和处理人类语言

如何理解大语言模型

○大规模

■大量参数的AI模型

■大量文本数据训练

○语言

■基于自然语言处理(NatureLanguageProcessing/NLP)

■能够理解、生成和处理人类语言○模型

■模拟语言规则和模式的数学框架

■训练的模型可以预测语言中的下一个词或者句子

LLM的简史与演变

○早期发展

■早期的NLP主要依赖于规则系统和基本的统计模型

■神经网络的引入极大地改变了NLP领域

○LLM的崛起：

■Attentionisallyouneed(2017)

■2022年11月30日ChatGPT发布

常见的大语言模型

OpenAIChatGPT/o1GoogleGemini

MetaLlama

AnthropicClaude

MistralMistral/Mixtral

百度文心一言

阿里云通义千问

华为盘古

腾讯混元

科大讯飞星火零一万物Yi

大模型是如何炼成的HowLLMisTrained

Step1:Pre-training(unsupervised)BaseLLM文字接龙机

Step2:SupervisedFine-tuning(SFT)InstructLLM初级客服

Step3:ReinforcementLearningfromHumanFeedback(RLHF)

ChatLLM专业顾问

大语言模型如何工作

LLMTransformer中国的首都是

LLM

Transformer

FeedForward

Feed

Forward

综合思考

北京

……

Tokenization

Tokenization

文字转成token

Embedding

Embedding

理解语义/位置

Attention

Attention

考虑上(下)文

Output

Output

输出

反复思考中国的首都是

反复思考

中国的首都是

RAG

RAG/PAL/ReAct

借助外部数据/工具

人要是行，干一行，行一行。一行行，行行行；

人要是行，干一行，行一行。一行行，行行行；要是不行，干行，不行行。

大语言模型和AI/ChatGPT的关系

●LLM是基础技术

●ChatGPT是LLM技术的一种应用实现

实际应用PracticalApplications

○内容生成ContentGeneration

○知识库问答KnowledgeBaseAnswering

○文本分类TextClassi?cation

○情感分析SentimentAnalysis

○有哪些信誉好的足球投注网站Searc