涌现语义超越标记嵌入-带有冻结视觉 Unicode 表示的 Transformer 语言模型-计算机科学-大语言模型-自然语言处理.pdfVIP

涌现语义超越标记嵌入：带有冻结视觉Unicode表示的

Transformer语言模型

A.Bochkov1

1MoscowInstituteofPhysicsandTechnology(MIPT),Moscow,Russia

Correspondingauthor:A.Bochkov(e-mail:andrey.bochkov@).

本摘要

译理解大型语言模型（LLMs）中语义表示的位置对于解释性和架构创新至关重要。主导范式认为可训

练的输入嵌入作为基础“意义向量”。本文挑战了这一观点。我们构建了Transformer模型，其中嵌入

中层完全冻结，向量不是从数据中导出的，而是来源于Unicode字符的视觉结构。这些非语义的、预计算

1的视觉嵌入在整个训练过程中是固定的。我们的方法兼容任何分词器，包括我们引入的一种以Unicode

v为中心的新分词器，以确保普遍的文字覆盖。尽管没有可训练的、具有语义初始化的嵌入，我们的模型

6

8仍然能够收敛，生成连贯的文本，并且，在MMLU推理基准上，关键的是，超过了架构相同的带有可

8训练嵌入的模型。我们将其归因于传统模型中的“表示干扰”，其中嵌入层肩负着学习结构和语义特征

4

0的任务。我们的结果表明，高层次的语义不是输入嵌入固有的，而是Transformer组合架构和数据规模

7.的涌现特性。这重新定义了嵌入的角色，从意义容器转变为结构基元。我们发布了所有代码和模型以促

0进进一步的研究。

5

2索引项新兴语义，冻结嵌入，可解释性，语言模型，多语言自然语言处理，变换器，视觉表示，Unicode

:

v

i

x

r

a

1

1介绍型不仅能够收敛，而且表现出稳健的收敛性，并且

令人惊讶地在诸如MMLU等推理基准测试中超越

理解变换器语言模型中语义抽象的产生位置和了架构相同但具有可训练嵌入的同类模型，这表明

方式，既是可扩展、稳健且可解释的人工智能系统传统的处理方法存在表示干扰。涌现抽象出现在变

开发中的理论问题，也是实践问题。传统上，输入压器块本身内部，而不是输入向量中。这有着深远

标记嵌入——从大型语料库中学到的表示——被视的影响：它意味着语义结构是一种架构现象，而非

为意义的主要来源：它们的代数属性被引用为可编初始化产物。我们的主要贡献是：

码语义关系（“king-man+woman=queen”）的

•表明在变换器中语义理解可以在没有可训练

证据，并且不断进步的架构通常将模型改进归因于

的输入嵌入的情况下出现

更智能或更大的嵌入矩阵。这种范式塑造了对实现

“智能”表征学习所需条件的假设。•引入一个与任何分词器兼容的通用视觉嵌入

现代大型语言模型（LLMs）对正字法变化的鲁方案

棒性，比如在’IcanwRiTe’中，突显了一个基本问

•将“表现干扰”识别为可训练嵌入式潜在限制

题。模型的理解并非源自“write”这样的单一语义丰

之一

富的标记。相反，它通常依赖于从一序列语义贫乏

的字符或子词级别标记（例如，’w’,’R’,’i’,’T’,’e’）•