上下文学习作为评估 LLM 生成代码功能正确性的有效估计器-计算机科学-上下文学习-代码生成.pdfVIP

上下文学习作为评估LLM生成代码功能正

确性的有效估计器

SusmitaDasMadhusudanGhoshPriyankaSwami

UniversityofGlasgowIndianAssociationfortheUniversityofGlasgow

Glasgow,UnitedKingdomCultivationofScienceGlasgow,UnitedKingdom

s.das.2@research.gla.ac.ukKolkata,Indiaswamipriyanka98@

madhusuda.iacs@

DebasisGangulyGulCalikli

本UniversityofGlasgowUniversityofGlasgow

译Glasgow,UnitedKingdomGlasgow,UnitedKingdom

中Debasis.Ganguly@glasgow.ac.ukHandanGul.Calikli@glasgow.ac.uk

1摘要Keywords

v

0当将基于LLM的代码生成应用于遵循功能驱动或快上下文学习，代码质量估算，代码生成

0

2速应用开发方法的软件开发项目时，在缺乏测试用例

5

0的情况下，评估生成代码的功能正确性变得必要。正1介绍

.

7如用户从检索到的相关文档列表中选择一个相关文档大型语言模型（LLMs）可以以抽象和通用的方式建模

0

5一样，软件生成工作流程也需要开发者从按后验概率语义，而无需任何特定任务的训练[1,5,20,28]，使得

2排序的备选解决方案列表中选择（并可能优化）一个

:它们成为广泛不同下游任务的有效零样本预测器，例

v生成的解决方案。这表明估计排名列表的质量——类

i如评估评论[17]、回答问题[15]、推荐相关文档[19]等。

x似于在信息检索(IR)中的查询性能预测(QPP)中估

r在软件开发的背景下，LLMs已被证明是广泛软

a计“相关性”——对于定义质量为“功能正确性”的件开发任务中的宝贵资源，例如从自然语言问题描述

生成式软件开发也至关重要。本文提出了一种基于上生成代码片段[3,31]，或完成部分编写的软件代码以

下文学习(ICL)的方法来评估代码质量。我们的研究实现特定任务[6,12,29]，甚至预测生成代码的质量

结果表明，提供来自训练集的功能正确的少量示例可[33]。LLMs自动生成的代码在“人在回路中”的设置下

以提高现有QPP方法以及基于零样本的代码质量估可能特别有益，例如，缺乏经验的软件开发人员可能

计方法的性能。会发现修改为特定功能生成的代码比从头编写代码更

容易[29]，或者这有助于减少软件开发团队之间的代