语言模型中的线性关系解码形态学-计算机科学-大语言模型-机器学习-稀疏编码.pdfVIP

语言模型中的线性关系解码形态学

EricXiaJugalKalita

BrownUniversityUniversityofColoradoColoradoSprings

eric_xia@jkalita@

摘要同时，这项工作对模型潜在表示中的关系

表示研究做出了关键贡献。我们表明，对于不

一种两部分的仿射近似被发现对于某些主

本语-宾语关系下的变压器计算是一个很好的同的关系，加性机制和乘性机制在仿射近似中

译近似。通过调整更大的类比测试集，我们扮演互补角色。我们发现，使用单一乘法运算符

展示了线性变换s，其中s是一个主体标的原始线性关系嵌入（由PaccanaroandHinton

中记的中间层表示，由模型导数得出，也(2001)开发）的类似物在特定关系内是有效的。

1能够准确地重现许多关系下的最终宾语状特别是，在涉及形态形式的关系上下文中进行

v

0态。这种线性技术能够在形态学关系上达的线性近似的忠实度达到了与仿射LRE相近

4到90%的忠实度，并且我们在多语言和跨

6的水平。我们在八种不同的语言上测试了忠实

4模型中展示了类似的结果。我们的发现表

1.明，在语言模型中的一些概念关系，如形度，发现这种等价性跨类型成立。

7

态学，可以从潜在空间直接解释，并通过

02相关工作

5跨层线性变换稀疏编码。

2

:机器学习领域的许多工作都集中在具有层

v1介绍

i次结构的概念表示的学习上。概念空间中表示

x

r大型语言模型在事实记忆方面表现出令人之间的关系已经被线性乘法和加法运算成功建

a

印象深刻的能力，这通常涉及实体之间的关系模。

（Brownetal.2020）。最近的工作表明，对主体

表示进行仿射变换可以忠实地近似某些主-宾乘法的。PaccanaroandHinton(2001)引入

关系的模型输出（Hernandezetal.2023）。识别了线性关系嵌入的概念，用于从三元组(,,)

变压器近似器是研究的一个重要领域，在模型中学习关系知识。诸如和之类的概念表示

训练和编辑中具有应用。为长度的向量，而诸如之类的关系则表

本文的贡献是两方面的。我们复现并扩展示为矩阵，类似于由Coeckeetal.(2010)

了现有的研究。具体来说，我们将仿射线性关提出的组合语义分布模型。

系嵌入（LRE）方法应用于新颖多样的关系类

别，包括派生形态学、曲折形态学、百科知识加性。Mikolovetal.(2013)在从上下文预

和词汇语义。通过这样做，我们证实了仿射技测神经网络中导出的词向量空间中使用了线性

术的有效性。我们展示了关系近似可以应用于运算，展示了方向二元关系（如