大语言模型的技术特征及市场新进展.pdfVIP

专栏159

/传媒瞭望/

文/郭全中杨元昭

大语言模型的技术特征及市场新进展

近年来，大型语言模型技术不断飞跃，一种前馈全连接神经网络架构，使用多头自

海内外互联网企业在人工智能领域的技术开注意力机制，构建了编码器－解码器结构。

发及迅速扩张为大语言模型的技术进步与应[5]Transformer特征提取器的使用使得模型具

用落地开拓蓬勃发展的空间。有了易于并行、能够获取长距离依赖、综合

1.大型语言模型的定义及特征特征提取能力强的特征，有一定的多语言特

大型语言模型（LargeLanguageModel，征提取能力。[6]

LLM），即利用大规模语料数据进行预训2.国内外互联网企业技术动向与商业布局

练的预训练语言模型（Pre-trainedLanguage随着Transformer神经网络的提出及

Models，PLMs），是自然语言处理（NatrualBert模型在多个自然语言处理领域取得最优

LanguageProcessing，NLP）的方式之一。早期的大型语言效果，自然语言处理预训练模型从单语言扩展到跨语言、

[7]技术步入新模态的同时也

模型主要基于循环神经网络（RecurrentNeuralNetwork，多模态、轻量化等任务模式。

RNN）和卷积神经网络（ConvolutionalNeuralNetwork，带动海内外人工智能领域进入新格局。具体见表1。

CNN）等基础模型进行构建。但该类模型无法进行文本第一，海外互联网巨头动作频频，技术发展上追求

特征提取及生成，随着大语言模型对生成式模型的引入，模型AGI（ArtificialGeneralIntelligence，人工智能通用型

模型可通过学习语言的概率分布，生成与训练数据相似的系统）能力，商业布局上依赖原有商业模式将大语言模型

新文本，在自然语言处理任务中取得了突破性的表现。融入相关产品。技术上，海外互联网企业在大语言模型起

大型语言模型一般指在大规模语料库训练下包含数步早发展快，虽在技术上各有侧重但都追求人工智能通用

千亿参数的语言模型。大型语言模型中最具代表性的是型能力，力图使模型具有人类智能水平。谷歌注重技术

Transformer（特征提取器）模型架构及其预训练语言模型，探索与多路径发展，2018年推出Bert模型，2019年推出

可实现对内容的理解，以及根据上下文生成相应内容等功T5模型，2021年推出Lamda模型，2022年推出PaLM模

能。现有大型语言模型采用与小型语言模型类似的模型架型。OpenAI聚焦对GPT模型的修订与更正，自2018年

构及预训练模型，但相比小模型其模型规模更大、训练数提出GPT-1模型至必威体育精装版的GPT-4，从模型规模到模型

据更多、计算资源需求更高。当参数规模超过一定阈值，适应性上都取得长足发展。Meta注重对模型性能强化，

大语言模型各方面能力远超小模型，大语言模型因此独立其必威体育精装版模型LLaMA-13B可在单张显卡上运行，模型规模

于小模型单独存在。[1]