轻量级变压器用于零样本和微调文本到 SQL 生成使用 Spider.pdfVIP

轻量级变压器用于零样本和微调文本到SQL生成使用Spider

ChiragSethUtkarshSingh

UniversityofWaterlooUniversityofWaterloo

Waterloo,ON,CanadaWaterloo,ON,Canada

cseth@uwaterloo.cau25singh@uwaterloo.ca

AbstractKatsogiannis-MeimarakisandKoutrika,2023)。

文本到SQL的翻译使非专家用户能够使用

尽管像GPT-3和GPT-4这样的大型语言

自然语言查询关系数据库，在教育和商业

智能中具有应用。本研究评估了三个轻量模型(LLMs)在提高文本到SQL系统的准确

级变压器模型——T5-Small、BART-Small性和鲁棒性方面取得了显著进展，但这些模型

本和GPT-2——在Spider数据集上的表现，通常伴随着高昂的计算和财务成本。它们的规

重点关注资源匮乏的情况。我们开发了模和资源需求使得许多学术机构、初创公司和

译一个可重复使用的、与模型无关的管道，边缘计算环境在硬件和预算受限的情况下难以

中将模式格式调整为每个模型的架构，并使用。

1在1000到5000次迭代之间进行训练，在

v1000个测试样本上使用逻辑形式准确性

3（LFAcc）、BLEU和精确匹配（EM）指标在这项研究中，我们通过关注参数范围从

2

6进行评估。微调后的T5-Small实现了最50M到500M的小型语言模型（SLMs）来弥

4

0高的LFAcc（27.8%），优于BART-Small补这一差距。这些模型在性能和效率之间取得

.

8（23.98%）和GPT-2（20.1%），突显了编码了平衡，使它们非常适合需要快速推理、较低

0

5器-解码器模型在模式感知SQL生成中的延迟和有限计算资源的场景。具体而言，我们

2优势。尽管资源限制影响性能，但我们的

:在广泛采用的Spider数据集上探索并比较了

v管道的模块化支持未来增强，例如高级模

iBART-small、T5-small和GPT-2模型的表现，

x式链接或替代基础模型。本工作强调了紧

r这是一个针对跨域文本到SQL任务具有挑战

a凑型变压器对于资源匮乏环境中可访问的

文本到SQL解决方案的潜力。性的基准测试。除了评估这些模型外，我们还

提供了一个简化且可重复使用的代码库，旨在

为从事类似任务的开发人员和研究人员简化训

1介绍

练、微调和推理工作流程。我们的工作旨在通

文本