基于动态 LSTM 的长期 LLM 交互记忆编码器-计算机科学-大语言模型-记忆存储.pdfVIP

基于动态LSTM的长期LLM交互记忆编码器

EvanLouCharlesLi

UniversityofWashingtonUniversityofWashington

evanlou@cs.washington.educzli2106@cs.washington.edu

Abstract避免建议含有大量乳制品的食物。

大型语言模型（LLMs）的记忆存储正成为一个日益活

跃的研究领域，特别是为了在长时间对话中实现个性

本化。我们提出了Pref-LSTM，一个结合了基于BERT

译的分类器与LSTM记忆模块的动态且轻量级框架。该

中框架生成记忆嵌入，然后将其作为软提示注入冻结的

1LLM中。我们综合整理了一个包含偏好和非偏好对话

v回合的数据集来训练我们的基于BERT的分类器。虽

2

4然我们的基于LSTM的记忆编码器没有产生强烈的结图1.前沿大语言模型的Pref-Eval基准测试

0果，但我们发现基于BERT的分类器在识别用户显式

3

0.和隐式偏好方面表现可靠。我们的研究表明，使用带有有效的个性化需要强大的大型语言模型对用户行

7LSTM门控原理的偏好过滤作为有效路径，可以实现为信号的隐式和显式理解。虽然用户可能会通过提及

0

5可扩展的用户偏好建模，而无需大量的开销和微调。诸如我不喜欢猫。等短语明确表达他们的喜好与不喜

2

:欢，但这些偏好也可以通过间接线索如对大型语言模

v

i1.介绍型回答的正/负面反应以及用户行为中的细微风格变化

x

r等隐性学习到。挑战不仅在于辨别偏好，还在于决定在

a大型语言模型（LLMs）在广泛的自然语言处理任务存在冲突的偏好时保留哪些偏好、丢弃哪些偏好。保留

中表现出色。这包括在开放领域对话、问题回答、写作过多的信息会导致噪声记忆表示、低效的记忆检索和

和任务辅助方面表现出色。通过详尽且广泛的训练，这大型语言模型的幻觉现象，而存储过少的信息则可能

些模型学会了如何跨众多领域进行泛化并在极高水平导致性能受损。此外，随着上下文窗口变得越来越大，

上执行。然而，尽管取得了这些成功，LLMs在长期语遗忘信息的问题也变得更加严重。

境中持久记住并纳入用户特定偏好的能力仍然有限。

随着LLM的应用扩展到个人助理、教育指导和特1.1.相关工作

定领域的代理，LLM记忆的话题变得越来越紧迫。为大语言模型个性化与提示嵌入早期的LLM个性化研

了与用户进行连贯且个性化的互动，至关重要的是，究了模型根据微调示例遵循用户个性的能力[17]。这些

LLMs能够保持一个运行中的用户偏好记忆，并动态更方法本质上通过在同一令牌窗口内的多交互对话来教

新。通过动态记忆状态，模型可以学习优化其响应以适模型跟随用户的个性。使用代表用户档案的词令牌进

应与其“对话”的任何用户，从而使模型有效扩展个性行提示注入[12]反映了需要提醒LLMs在未来的提示

化功能。例如，如果用户在提示中提到我乳糖不耐受，中记住之前的上下文。RevGAN[9]提出将项目和用户

然后在后来的提示中询问“甜点推荐,”，模型应该学会的向量嵌入注入到LLM中，从潜在空间中的偏好更有

效表示中获益。UserLLM[10]通过融合交叉注意力和到人类如