微调 SLM 或提示 LLM？生成低代码工作流的案例-计算机科学-生成式人工智能-检索增强生成.pdfVIP

微调SLM或提示LLM？生成低代码工作流

的案例

OrlandoMarquezPatriceBechardEmilyChen

ServiceNowServiceNow

Ayala

patrice.bechard@emily.chen@

ServiceNow

orlando.marquez@

MaggieBairdJingfeiChen

ServiceNowServiceNow

本maggie.baird@jingfei.chen@

译

中摘要Keywords

2大型语言模型（LLMs）如GPT-4o可以处理各种复杂大型语言模型，生成式人工智能，检索增强生成，任

v的任务，只需要适当的提示。随着标记成本的降低，微务分解，工作流

9

8调小型语言模型（SLMs）以用于实际应用的优势——

1

4更快的推理、更低的成本——可能不再那么明显。在

2.本研究中，我们提供的证据表明，在需要结构化输出1介绍

5的特定领域任务中，SLMs仍然具有质量优势。我们生成式人工智能正在推动基于人工智能的软件边界。

0

5将对SLM进行微调与提示LLMs生成JSON格式的随着大型语言模型（LLMs）能力的提升，它们已经成

2

:低代码工作流的任务进行了比较。我们观察到，虽然为软件堆栈的重要组成部分。尽管提示像GPT-4o[15]

v

i一个好的提示可以产生合理的结果，但微调平均提高，Gemini2.0Flash[12]或Claude3.5Sonnet[1]这样

x

r了10%的质量。我们也进行了系统的错误分析以揭示的最先进的模型通常足以完成诸如问答或总结[9]等

a

模型的局限性。传统任务，但在特定领域的任务[24]上情况并非总是

如此。

在构建流生成（一个基于文本用户需求生成低代

CCSConcepts码工作流的应用程序）时，我们探讨了是否需要对语

•Computingmethodologies→Naturallanguagepro-言模型进行微调以达到所需的软件质量。为了减少基

cessing;Machinelearning;•Informationsystems→础设施需求，我们仅考虑了参数少于150亿的小型语

Specializedinformationretrieval;Enterpriseinformation言模型（SLMs）。

systems.企业工作流是一种常用的方法，用于自动化那些

重复但复杂的流程。它们被表示为一系列在特定条件

下执行以实现具体目标的步骤。虽然低代码工作流倾

向于构建在易于使用的界面中，但创建它们仍然需要

KDDWorkshop’