用于主题聚焦摘要的 Logit 重加权-计算机科学-人工智能-大语言模型.pdfVIP

用于主题聚焦摘要的Logit重加权

JoschkaBraunBálintMucsányiSeyedAliBahrainian

Abstract

生成符合特定主题的抽象摘要对于语言模型来说仍然是一个重大挑战。虽

然标准方法，如微调，需要大量资源，而简单的提示工程方法通常难以保持

话题焦点，特别是对较小的模型而言。为了解决这个问题，我们提出了一种

轻量级的方法，通过在生成过程中直接重新加权与主题相关的标记的logits

本来增强主题相关性。我们评估了三种此类重新加权技术：常数偏移，它将一

译个常数值添加到logits中；因子缩放，它将logits乘以一个因子；阈值选择，

中它有选择地提高超过概率阈值的logits。在NEWTS话题摘要数据集上使用

Gemma-2B和Llama-3-8B模型进行的实验表明，这些技术有效增加了主题

1

v相关词汇的使用。值得注意的是，阈值选择方法成功提高了话题焦点而不损

5害摘要质量——这是其他方法中经常出现的一种权衡。我们的发现证明了

3

2直接重新加权logits是一种实用且资源高效的微调替代方案，为精确控制生

5成文本的主题内容提供了有希望的方法。

0

.

7

01介绍

5

2

:基于自回归变换器的语言模型（LM）进行抽象主题总结存在显著挑战，特别是在不进行大

v

i量模型重训练的情况下生成与主题相关的摘要[Bahrainianetal.,2021,2023]。为了生成给定

x

r文本的高质量摘要并专注于选定的主题，通常需要上下文学习[Dongetal.,2023]，如果该

a模型之前没有经过微调以实现这一目标。仅针对总结进行了微调的任何模型，或中型指令调

整LM，在仅依赖于上下文学习的情况下生成专注的摘要都会遇到困难。通过直接偏好优化

（DPO）[Rafailovetal.,2023]或人类反馈强化学习（RLHF）[Ouyangetal.,2022]等方法对主

题总结进行微调虽然有效，但在技术上具有挑战性，需要大量的标注数据，并且常常无法在

不同的主题和文章之间保持一致性效果。因此，我们的目标是建立一种更容易实现、普遍适

用且资源高效的改进摘要主题焦点的方法，而无需大量训练。

2实验设置

2.1数据集和模型

我们在专为专题摘要设计的NEWTS数据集上通过Bahrainianetal.[2022]评估了我们的方

法。NEWTS数据集基于CNN/DailyMail数据集[Nallapatietal.,2016]，由2400个训练样本和

600个测试样本组成。每个样本包含一篇源文章以及两个参考专题摘要，分别聚焦于文章中

的两个最突出的主题（tid1和tid2）。关联的LDA模型有250个不同的主题。在我们的实验

Equalcontribution.

Codeavailableat/JoschkaCBraun/topical-decoding

中，我们使用了两个最先进的变压器模型：Google的20亿参数Gemma模型[GemmaTeam,

2024]以及Meta的80亿参数Llama-3模型[L