Spec-TOD-一个专用于高效任务导向对话系统的指令微调 LLM 框架-计算机科学-面向任务的对话-大语言模型.pdfVIP

Spec-TOD:一个专用于高效任务导向对话系统的指令微调LLM框架

**†

Quang-VinhNguyen,Quang-ChieuNguyen,HoangPham,Khac-HoaiNamBui

ViettelArtificialIntelligenceandDataServicesCenter,

ViettelGroup,Vietnam

{vinhnq29,chieunq,hoangpv4,nambkh}@.vn

摘要具体而言，现有的TOD模型要么微调预训练

的语言模型如GPT-2(Yangetal.,2021)和T5

面向任务的对话(TOD)系统促进了用户与

本机器之间的目标驱动交互。虽然深度学习(Lee,2021;Bangetal.,2023)，要么准备高质量

译方面的必威体育精装版进展提高了性能，但在有限标的数据整理以训练预训练的TOD语言模型(He

签数据的情况下，TOD系统经常在低资源etal.,2022;Suetal.,2022)，能够在TOD任务上

中场景中遇到困难。为了解决这一挑战，我取得强劲的表现（图1（a））。对特定领域注释

1们提出了Spec-TOD，一个旨在使用有限数数据集的依赖给可重复性和扩展性带来了挑战

v

1据训练端到端TOD系统的新型框架。Spec-(Baoetal.,2023)。尽管在少样本学习(Mietal.,

4TOD引入了两个主要创新点：（i）一种新

82022;Moradshahietal.,2023)领域取得了进展，

4的专门的端到端TOD框架，该框架将明确

0.的任务指令纳入了针对指令调整的大语言当前的方法仍难以跨新领域进行泛化，并且表

7模型(LLMs)，以及(ii)一种高效的训练策现次优。大型语言模型（LLMs）的必威体育精装版进展，包

0

5略，利用轻量级、专用的LLMs以实现强括专有模型（如GPT系列(OpenAI,2023)）和开

2

:大的性能并大幅减少监督。在广泛使用的源模型（如Llama系列(Touvronetal.,2023)），

v

iTOD基准MultiWOZ数据集上的实验表明，通过实现零样本和少样本泛化能力，改变了自

x

rSpec-TOD实现了具有竞争力的结果，同时然语言处理任务的方式，并推动了基于LLM

a

显著减少了对标签数据的需求。这些发现

的TOD系统的开发（图1(b)）。此外，新兴的

突显了所提出的框架在推进低资源环境下

基于代理的LLM技术通过利用通用指令跟随

高效且有效的TOD系统的潜力。

模型（如GPT-4）自主执行预定义外部API(Xu

1介绍