XX云传媒体行业大模型落地实践.docxVIP

XX云传媒行业大模型落地实践

CONTENT

CONTENT

目录

01XX大模型必威体育精装版进展

02XX大模型在传媒行业的落地实践

XX云智能拥有全球领先的AI研究和产业落地能力

XX云智能在计算机视觉、智能语音、自然语言处理、机器学习等领域已取得多项技术突破，持续推动前沿技术的产业落地。下设多个顶级人工智能实验室。XX优图实验室多次在人工智能国际权威比赛中创造世界纪录，XX云小微、AILAB等团队协同深耕AI语音及语义能力，多次在国际国内比赛中拔得头筹。共拥有5000+AI相关专利，发表顶会论文800+篇。

机器学习自然语言处理计算机视觉文字

机器学习

自然语言处理

计算机视觉

文字识别

5000+项

AI相关专利

800+篇

论文入选IJCA/CVPR/ICASSP/ACL等全球顶会/期刊

双赛道冠军

图像匹配技术CVPR2021ImageMatchingWorkshop

全球第—

神农”多语言预训练模型获得国际权威榜单XTREME总榜及

全赛道全球第—

中英新闻翻译第—

WMT2021中英文新闻翻译评测

四项国际第—

国际顶级图学习榜单OGB上，获得图属性预测赛道Ogbg-molhiv、

Ogbg-molpcba等全部四项榜单第—

冠军及最佳创新奖

ICCV2021LVISChallengeWorkshop

Text2SQL榜单第—

CoSQL、Sparc数据集荣登Text2SQL榜单第—

大模型发展历程

认知智能感知智能意识智能计算智能表?、计算、存储与人机输入、输出知识数据双驱动、认知智能、决策智能涌现能力思维链大模型知识算力数据文本内容识别、图像识别、语音识别算法

认知智能

感知智能

意识智能

计算智能

表?、计算、存储与人机输入、输出

知识数据双驱动、认知智能、决策智能

涌现能力思维链

大模型

知识

算力

数据

文本内容识别、图像识别、语音识别

算法

大模型发展历程

GPT=GenerativePretrainedTransformer（生成式预训练模型）

2016

发布Gym强化学习平台Universe训练工具包

2018.6GPT-1

1.17亿参数

无监督预训练+有监督微调

2019GPT-2

15亿参数

半监督语言模型效果验证

2020

GPT-3

1750亿参数超大模型

2022年初InstructGPT13亿参数

人类反馈强化学习

2022年12月2023年Q1

ChatGPTGPT-4

基于GPT-3.5微调后用来改进GPT提升性能多模态

语言模型的聊天机器人更贴近人类实际思维

Google

2016

深度学习框架

TensorFlow发布分布式版本

2017.6

Transformer6500万参数

2018.10BERT

3亿参数

2019

T5

110亿参数

2021

SwitchTransformer

1.6万亿参数（人类大脑皮层参数10万亿）

2021年底-至今，演进动力:从人类反馈中学习

2021年底-至今，演进动力:从人类反馈中学习

第—阶段：模型规模增大，融合的任务更多第二阶段：利用人工标注引导生成

InstructGPT人工对齐SFT强化学习RLHF规模进—步增大in-contextlearning规模增大Prompt预训练GPT-2

InstructGPT

人工对齐SFT强化学习RLHF

规模进—步增大

in-contextlearning

规模增大

Prompt预训练

GPT-2

GPT-3

数据：+人工标注数据（万级别）

模型：GPT-3+强化学习

参数：1.3B

特点：需求理解能力大幅提升，生成能力大幅提升

数据：+更多的对话语料

模型：GPT-3.5+强化学习

参数：175B

特点：对话理解能力提升

ChatGPT

GPT-1

数据：BookCorpus（7000本书）

模型：AR（TransformerDecoder）

参数：0.117B

特点：pretr大模型n+finetune

数据：+Reddit高质量Webtext

模型：同GPT-1

参数：1.5B

特点：+NLP任务的prompt预训练，具备zero-shot的能力

数据：+Filte