关键字启发级联：使用大语言模型以成本高效的方式生成文本-计算机科学-大语言模型-自由格式文本生成.pdfVIP

关键字启发级联：使用大语言模型以成本高效的方式生成文本

Woo-ChanKim,Ji-HoonPark,andSeong-WhanLee

Abstract—大型语言模型（LLMs）在广泛的语言处理任InputQueries

务中展示了最先进的性能。然而，高性能的模型通常只能通过EasyQuery“Arevampiresreal?”

API访问，这会产生相当大的推理成本。级联方法通过最初HardQuery“Cancatsseeincompletedarkness?”

使用较便宜的模型并在必要时升级到更强的模型来解决这个问EasyQuery“WhatisthecapitalofFrance?”

题。不过，现有的级联方法难以选择一个可靠的代表性响应并评⋯⋯

HardQuery“ExplainhowAIiscurrentlybeingusedinthemedicalfield.”

估自由格式输出的整体可靠性，因为它们依赖于精确的文本匹

配。为了解决这些限制，我们提出了基于关键词的级联（KiC），GeneratingMulti-responsesperqueryResponse1

Response1

Response2

Response2

这是一种成本高效的自由格式文本生成新框架。KiC在多个较QueryWeakerLow-pricedLLM⋯⋯

Response

弱模型输出中识别出最具代表性的答案，并评估其他响应与其Response

语义对齐的程度。根据对齐程度，KiC决定接受较弱模型的输

本出还是升级到更强的模型。在三个自由格式文本生成基准上的TraditionalApproachOurs

译实验显示，KiC达到了GPT-4准确率的97.53%，同时平均Allquery’sresponsesareDIVERSE..Easyquery’sresponsesareCONSISTENT!

中减少了28.81%的API成本，并且甚至在一个特定的基准上超

过了GPT-4。