外科知识重写在紧凑型大语言模型中：一种带有 ((IA)3) 的 “先忘后学”策略，用于局部事实调节和灾难性遗忘缓解.pdfVIP

外科知识重写在紧凑型大语言模型中：一种带有((IA))的

“先忘后学”策略，用于局部事实调节和灾难性遗忘缓解

StanleyNgugi

2025年8月13日

摘要

大型语言模型（LLMs）在动态知识更新方面存在困难，尤其是在新信息与已深深嵌入的事实发生冲

突时。这种事实上的矛盾编辑通常会导致两个关键问题：对新事实的采纳阻力和无关知识的严重灾难性

遗忘。本文介绍了并评估了一种新颖的“先取消学习再学习”策略，用于大型语言模型中的精确知识编

本辑，利用参数高效的微调（PEFT）技术——通过抑制和放大内部激活来注入适配器（IA）。至关重要

译的是，这种两阶段方法由一个初始电路定位阶段提供动力，该阶段识别并针对负责编码矛盾事实的具体

中内部组件。通过对microsoft/Phi-3-mini-4k-instruct进行严格的实验方法，我们证明了这一机制指

导的两阶段方法对于新的、调制过的事实实现了接近完美的准确率（98.50%），同时有效抑制原始矛盾

1的事实（遗忘率为96.00%）。我们的策略表现出前所未有的定位能力（72.00%F_control准确率），极

v

5大地减轻了直接微调方法中观察到的灾难性遗忘问题（后者F_control准确率低至20%），这是我们

7目标导向的可解释性干预的直接益处。此外，定性分析揭示了一种“软遗忘”的细微机制，其中原始知

0识从默认检索中被抑制但仍处于潜在且有条件可访问的状态，增强了模型的安全性和控制能力。这些发

7

0现代表了在紧凑型LLMs中的精确、局部和安全的知识管理方面的重要进展。

.

8

0

51介绍

2

:

v大型语言模型（LLMs）彻底改变了人工智能，展示了在各种任务中的卓越能力，包括高级理解、生

i

x成、推理，甚至代码创作[1]。这种深刻的多功能性使它们成为众多应用中的基础技术。然而，一个基本的

r

a限制依然存在：它们的知识是静态的，反映了训练时的数据。动态编辑或更新LLM知识的能力对于纠正

错误信息、融入新的现实世界信息以及确保模型保持准确、相关和安全至关重要。这一挑战在目标知识

需要修改且深深根植于模型参数中或直接与现有强大关联冲突时尤为突出，这种挑战在Phi-3-mini等紧

凑型LLMs中往往更为明显，因为它们的参数空间受限，可能导致知识编码不冗余，信息传递更加瓶颈。

传统知识编辑方法通常涉及完全微调（计算成本高、资源密集且容易发生灾难性遗忘[6]）或专门的

编辑算法（如ROME、MEMIT[2,3]），这些算法修改特定权重。虽然在添加或更改不冲突的事实方面有

效，但这些手术方法通常难以处理复杂且相互冲突的覆盖操作。这主要是因为它们可能被设计用于添加

事实而不是积极抑制现有强关联，并且可能无法提供足够的关于广义知识保持或在哪里进行编辑以实现

最大局部化的见解。参数高效的微调（PEFT）方法，如低秩适应（LoRA）[4]和通过抑制和放大内部激

活注入适配器（IA）[5]，通过向模型中注入少量可训练的参数提供了有希望的替代方案，从而降低计

算成本并减轻与完全微调相比的遗忘。然而，即使这些方法也经常难以处理根深蒂固且相互冲突的事实

编辑，表现出对新矛盾事实的高度抵抗以及对无关知识的重大附带损害。这通常导致