探索大型语言模型在分析和改进科学代码中的方法名称方面的应用-计算机科学- AI自动化-程序理解-大语言模型.pdf

探索大型语言模型在分析和改进科学代码中

的方法名称方面的应用

GunnarLarsenCarolWongAnthonyPeruma

UniversityofHawaiiatMānoaUniversityofHawaiiatMānoaUniversityofHawaiiatMānoa‘‘‘

Hawaii,USA‘Hawaii,USA‘Hawaii,USA‘

gunnarrl@carolw8@peruma@

P

摘要—研究科学家越来越多地依靠实现软件来支持他们的破坏工作流程。另外，还存在关于AI生成内容的伦理R

研究。虽然之前的研究已经考察了标识符名称在传统编程环境和法律影响的担忧[9]–[11]。E

P

本中对程序理解的影响，但很少有工作探索过这一领域在科学软虽然软件工程师具备有效利用这些LLM工具并评

件中的应用，特别是在代码中方法名称质量方面。大型语言模型

R

译估其输出所需的教育和经验，但没有软件工程背景的个

（LLMs）的必威体育精装版进展为自动化代码分析任务提供了新的机会，

中人可能会无意中使用LLM生成的代码，而未能充分理

I

如标识符名称评估和建议。我们的研究评估了四个流行的LLM

N

1在分析496个从基于Python的JupyterNotebook提取的解这将如何影响整体代码质量和未来的维护工作。这包

v方法名称语法模式并提出改进建议的能力。我们的发现表明，这括研究科学家，他们通常需要开发软件程序来支持他

9

3些LLM在分析这些方法名称方面有一定的效果，并且通常遵循们的研究。通常，从事非计算机科学研究领域的科学家T

4良好的命名实践，比如以动词开始方法名称。然而，它们对特定通过在职培训或在线文章和博客等非正式资源学习编

6

1.领域术语处理的一致性较差以及与人类标注只有中等程度的共程，这可能导致缺乏编写可读性和可维护性代码原则的

7识表明，自动化建议需要人工评估。这项工作为通过AI自动化

0提高科学代码质量提供了基础见解。理解[12]。

5IndexTerms—程序理解，方法名称，Jupyter笔记本，语先前对研究科学家通常编写的代码的研究揭示了

2

:法规式，词性诸如违反PEP8规定、风格不一致、高度耦合以及在可

v

i重复性方面存在显著挑战等问题[13]–[16]。此外，Wong

xI.介绍

r等人[17]检查了此类代码中的方法名称，并发现许多实

a

随着大型语言模型（LLMs）的流行，它们在软件工例中名称偏离了标准的命名惯例，比如以动词开头。相

程中的应用变得越来越重要[1]。这些模型帮助开发者反，这些名字往往基于方法的输出而不是它们的动作。

完成各