LLM 能否编写 CI？一项关于 GitHub 操作配置自动生成的研究-计算机科学-大语言模型-持续集成.pdfVIP

LLM能否编写CI？一项关于GitHub操作配

置自动生成的研究

TaherA.GhalebandDulinaRathnayake

DepartmentofComputerScience,TrentUniversity

Peterborough,ON,Canada

{taherghaleb,dulinarathnayake}@trentu.ca

摘要—持续集成（CI）服务，如GitHubActions，要求领域特定语义[4]，生成这些配置颇具挑战性。大型语

开发人员编写基于YAML的配置文件，这可能会非常繁琐且言模型的能力，特别是使用自然语言提示的能力，仍然

容易出错。尽管大型语言模型（LLMs）越来越多地被用于自不确定。尽管许多研究探讨了CI配置的挑战[5]–[8]，

动化软件工程任务，但它们生成CI配置的能力仍然有待探索。

本但很少有工作关注于自动化的生成[9,10]。

本文介绍了初步研究，评估了六种LLM从自然语言描述中生

译成GitHubActions配置的能力。我们评估了三种通用基础模本文介绍了一项初步研究，评估大语言模型

中型（GPT-4o、Llama和Gemma）以及三种代码预训练模型（LLMs）从自然语言描述生成GitHubActions配置

1（GPT-4.1、CodeLlama和CodeGemma）。我们还介绍了的能力。我们评估了三种通用基础模型（GPT-4o、

v第一种此类的有标签数据集，该数据集从GitHubActions文Llama3.1和Gemma3），以及三种在源代码上预训练

5

6档构建而来，将描述与相应的最佳实践YAML配置配对。零样的模型（GPT-4.1、CodeLlama和CodeGemma）。为

1本提示最高达到%与真实值的相似度，仅有%完美匹配。代

7了支持我们的评估，并考虑到现有数据集中缺乏将自然

1码预训练模型在基于YAML的CI任务中表现略逊于通用模

.型，揭示了LLM在生成CI配置方面的局限性。分析GPT-4o语言与YAML配置相关联的数据集，我们通过整理官

7

0输出发现存在诸如缺少或重命名步骤、误解描述以及不必要的添方GitHubActions文档中的描述–YAML对构建了首

5加等问题，这些问题可能影响结构和上下文的正确性，表明生成个此类标注数据集。每一对包括一个任务导向的描述和

2

:质量与可执行CI配置所需精度之间存在差距。我们的研究为提一个反映最佳实践的相应YAML片段。我们使用零样

v

i高LLM与配置语言之间的对齐提供了见解，并指导未来在CI本提示[11]来模拟现实开发者的使用情况，而不提供

x自动化和工具支持方面的努力。

rIndexTerms—持续集成，GitHub动作，大型语言模型，上下文示例。为了测量生成配置与参考配置之间的相似

a

LLMs，YAML，CI配置度，我们采用了五个指标：余弦相似度、欧氏距离、树

I.介绍编辑距离、ROUGE-L和chrF，捕捉词汇重叠和结构正

确性。该设置能够详细比较模型输出在基于文本和语法

持续集成（CI）服务在现代软件开发中对于自动化

感知维度上的表现。

软件构建和测试至关重要[1]。GitHubActions是一种

流行的CI服务，因为它与GitHub紧密集成，并且具总体而言，我们的研究结果突出了LLMs在CI相

有灵活的工作流定义。然而，配置CI