无缝集成基于树的位置嵌入到 Transformer 模型中以表示源代码-计算机科学-机器学习-抽象语法树.pdfVIP

无缝集成基于树的位置嵌入到Transformer模型中以表示源代码

PatrykBartkowiak,FilipGraliski

AdamMickiewiczUniversity

摘要上有着显著的区别，这种层次通常表示为抽象

语法树（AST）(ShivandQuirk,2019)。一个

基于Transformer的模型在各种源代码表示

AST编码了关键的句法和语义关系，包括代

本任务中展示了显著的成功。然而，这些模型码构造中的嵌套作用域、父子依赖关系以及兄

译使用的传统位置嵌入不足以捕捉源代码内弟顺序。虽然序列位置嵌入，如正弦或学习到

中在的层次结构，通常以抽象语法树（ASTs）的编码(Vaswanietal.,2017;Devlinetal.,2018)，

的形式表示。为了解决这个问题，我们提出

1

v了一种新颖的基于树的位置嵌入方法，该能有效地捕捉线性标记序列，但它们完全忽略

3方法明确编码从ASTs派生出的层级关系，了层次结构。因此，当前的Transformer架构可

0

0包括节点深度和兄弟索引。这些分层嵌入能会忽略重要的句法关系，这可能限制了在源

4被整合到Transformer架构中，特别增强了

0代码理解任务中的性能和泛化能力。

.CodeBERTa模型。我们通过掩码语言建模

7为了解决这一差距，我们提出将基于树的

0（MLM）预训练和克隆检测微调任务全面

5评估了我们的提议模型。实验结果表明，我位置嵌入集成到Transformer模型中，明确编码

2

:们的树增强CodeBERTa在损失、准确率、源代码的层次结构。我们的方法引入了基于标

v

iF1分数、精确度和召回率方面始终优于基记在AST层次中的深度及其兄弟位置的嵌入，

x

r线模型，强调了将显式的结构信息纳入基有效引导自注意力机制识别和利用结构上下文

a

于Transformer的源代码表示的重要性。以及语义内容。

在本文中，我们做出以下贡献。

1介绍

基于Transformer的模型在众多源代码表•我们提出了一种新颖的分层嵌入策略，旨

示任务中展示了显著的进步，如代码摘要、克在将抽象语法树中的结构信息明确地编码

隆检测、缺陷预测和语义有哪些信誉好的足球投注网站。这些模型有效到基于Transformer的模型中。

地利用了自注意力机制，并辅以位置嵌入，来

•我们展示了基于树的位置嵌入如何可以无

编码标记的顺序序列，从而实现强大的语义理

缝集成到现有的Transformer架构中，特别

解。然而，一个值得注意的限制来自于这些模型