对连接语言模型离散下一标记采样和梯度下降的初步探索.pdfVIP

对连接语言模型离散下一标记采样和梯度下降的初步

探索

代码可在/x1ng5/gd_sampling

获取最后更新日期：2025-1-5

1介绍

考虑一个（现实世界的）语言模型和上下文Hhhh。下一个词预

测的过程可以抽象为两个步骤：

本

•计算最后一个位置的隐藏状态，:

译

中hH(1)

1

v

•使用h作为概率分布，并使用采样算法Alg基于采样一个token：

1

7

5

hAlgh(2)

7

0

.

请注意，与直接将h作为下一个标记（在理解大语言模型的理论分析中很常见）不同，

8

0该过程通过从分布中采样引入了随机性，并且标记是离散。这一区别对于理解大语言模型的推

5

2理过程至关重要，在这个过程中，更多的测试时间计算成本（如多数投票[2]和最佳之N推理

:

v技术）可以大大提高语言模型的性能（推理缩放定律[3]，[1]）。

i

x

r

a

1

图1:样本数

图2:令牌数量

2问题设定

2.1变压器权重预测

考虑一个线性回归问题

minYXw

s.t.w

(3)

subjecttow

YXwwhereI

基于[?]，单层线性注意力仅变压器可以如下解决此问题：