2023年ChatGPT半导体行业研究报告 .pdfVIP

2023年ChatGPT半导体行业研究报告--第1页

2023年ChatGPT半导体行业研究报告

导语

2017年谷歌推出一种用于自然语言理解的新型神经网络架构—

—Transformers模型，不但能生成质量上乘的语言模型，同时具有更

高的可并行性，大大降低了所需的训练时间。这些小样本学习模型，

可以更容易地针对特定领域做定制修改。

2018年以来，国内外超大规模预训练模型参数指标不断创出新

高，“大模型”已成为行业巨头发力的一个方向。谷歌、百度、微软

等国内外科技巨头纷纷投入大量人力、财力，相继推出各自的巨量模

型。国外厂商自2021年开始进入“军备竞赛”阶段。

2018年，谷歌提出3亿参数BERT模型，大规模预训练模型开始

逐渐走进人们的视野，成为人工智能领域的一大焦点。

2019年，OpenAI推出15亿参数的GPT-2，能够生成连贯的文本

段落，做到初步的阅读理解、机器翻译等。紧接着，英伟达推出83亿

参数的Megatron-LM，谷歌推出110亿参数的T5，微软推出170亿参

数的图灵Turing-NLG。

2020年，OpenAI以1750亿参数的GPT-3，直接将参数规模提高

到千亿级别。

2021年1月，谷歌推出的SwitchTransformer模型以高达1.6

万亿的参数量打破了GPT-3作为最大AI模型的统治地位，成为史上

首个万亿级语言模型。2020年10月，微软和英伟达联手发布了5300

亿参数的Megatron-Turing自然语言生成模型（MT-NLG）。2021年12

2023年ChatGPT半导体行业研究报告--第1页

2023年ChatGPT半导体行业研究报告--第2页

月，谷歌还提出了1.2万亿参数的通用稀疏语言模型GLaM，在7项

小样本学习领域的性能超过GPT-3。

ChatGPT背后的公司为OpenAI，成立于2015年，由特斯拉CEO

埃隆·马斯克、PayPal联合创始人彼得·蒂尔、Linkedin创始人里

德·霍夫曼、创业孵化器YCombinator总裁阿尔特曼（SamAltman）

等人出资10亿美元创立。

OpenAI的诞生旨在开发通用人工智能（AGI）并造福人类。

ChatGPT中的GPT（GenerativePre-trainedTransformer），是

OpenAI推出的深度学习模型。ChatGPT就是基于GPT-3.5版本的聊天

机器人。

截至2022年12月4日，OpenAI估计ChatGPT用户已经超过100

万；2023年1月，ChatGPT用户超过1亿，成为迄今增长最快的消费

应用程序。

2023年2月，OpenAI开始接受美国客户注册一项名为

ChatGPTPlus的高级服务，每月收费20美元；此外，OpenAI正计划

推出一个每月42美元的ChatGPT专业计划，当需求较低时可以免费

使用。

OpenAI预计人工智能科学研究要想取得突破，所需要消耗的计

算资源每3~4个月就要翻一倍，资金也需要通过指数级增长获得匹

配。

在算力方面，GPT-3.5在微软AzureAI超算基础设施（由V100GPU

组成的高带宽集群）上进行训练，总算力消耗约3640PF-days（即每

2023年ChatGPT半导体行业研究报告--第2页

2023年ChatGPT半导体行业研究报告--第3页