通过熵分析探究 Transformer 架构中的信息分布-计算机科学-深度学习-大语言模型-熵分析-信息论.pdfVIP

通过熵分析探究Transformer架构中的信息

分布

AmedeoBuonanno,AlessandroRivetti,FrancescoA.N.Palmieri,

GiovanniDiGennaro,GianmarcoRomano

摘要本研究探讨了将熵分析作为探究基于Transformer架构中的信息分布

本的工具。通过量化词符级别的不确定性并检查处理不同阶段的熵模式，我

译们旨在调查这些模型中信息是如何管理和转换的。作为一个案例研究，我

中们将该方法应用于基于GPT的大语言模型，展示了其揭示模型行为和内

1部表示见解的潜力。这种方法可能会为理解模型行为提供洞见，并有助

v于开发针对基于Transformer模型的可解释性和评估框架。

7

4

3

5Keywords:变换器，熵分析，信息论，大型语言模型

1

.

7

0

5

2

:

v

i

x

r

a

A.Buonanno()

DepartmentofEnergyTechnologiesandRenewableSources,ENEA,Portici(NA),80055,Italye-mail:

amedeo.buonanno@enea.it

A.RivettiF.A.N.PalmieriG.DiGennaroG.Romano

DipartimentodiIngegneria,UniversitàdegliStudidellaCampania‘‘LuigiVanvitelli’’,

Aversa(CE),81031,Italy

e-mail:alessandro.rivetti@studenti.unicampania.it,{francesco.palmieri,giovanni.digennaro,gianmarco.ro-

mano}@unicampania.it

1

2Buonannoetal.

1介绍

自引入以来，Transformer模型[17]已成为现代机器学习的基石，驱

动了一系列广泛的应用程序[9]，包括机器翻译、时间序列预测[19][10]

和计算机视觉[7]。尤为值得注意的是，Transformers担任了大型语言模型

（LLMs）的基础架构角色，例如GPT（生成预训练Transformer）系列[16]

[3]。这些模型通过迭代地根据前面的上下文预测下一个标记来运行，并

在各种自然语言处理（NLP）任务中展示了卓越的表现[13][18]。

尽管取得了成功并普遍存在，驱动神经网络和基于Transformer的模

型的内部机制仍然很大程度上不透明，这引发了对其透明性和可靠性的

关键关注[8]。这导致了一大批旨在揭示其内部行为的研究工作不断涌现。

例如，许多研究致力于揭开卷积神经网络[15]（以及其中引用的内容）的

内部功能。在研究Transformer架构时，最具代表性的方法之一是基于镜

头的方法：通过探测中间模型激活来揭示预测如何随计算演变的技术。

一种这样的方法是对数单位长度透镜[14]，它使用模型的输出头在

每一层将残差流激活投影到词汇空间。这揭示了模型令牌预测的逐层演

化，表明即使是早期层次也表现出有意义的预测结构。尽管很有洞察力，