通过焦点点进行的颠覆-调查大型语言模型监控中的勾结行为-计算机科学-大语言模型-深度防御.pdfVIP

通过焦点点进行的颠覆：调查大型语言模型监控中的

勾结行为

OlliJärviniemi

Abstract

我们评估语言模型通过合谋来规避监控协议的能力。更具体地说，我们在编

程任务环境中设计了两个模型实例，分别用于政策（P）和监视器（M）的

本提示。这些模型协同工作，旨在让监视器M将审计数据集中的所有带有后

译门程序分类为有害，但仍然将由P生成的带有后门程序分类为无害。这些模

中型彼此隔离，需要它们独立地达到兼容的规避策略。我们发现，虽然Claude

3.7Sonnet由于收敛性差成功率较低，但它有时能够成功地在非显而易见的

1信号上合谋。

v

0

1

01介绍

3

0

.作为深度防御策略的一部分，以减轻来自AI的风险，AI控制方法是开发能够抵御模型通过

7

0对抗方式破坏这些对策的安全协议（Greenblattetal.(2023);Wenetal.(2024);Bhatt

5etal.(2025)）。这些协议本身通常依赖于AI，因此必须考虑并缓解串通风险（Motwani

2etal.(2024);Mathewetal.(2024)）：不同角色中的AI可能会协调一致地导致失败，从而使

:

v这些协议失效。

i

x

r我们在不受信任的监控环境下评估AI的能力从Greenblattetal.(2023)开始。在此设置

a

中，一个策略（P）完成分配给它的编程任务，旨在通过一组单元测试，同时有时会向程序

中插入可利用的后门。所有程序都会由一个监控器（M）进行检查，并对输出给出可疑度评

级。我们将考虑最简单的情况，即M提供二元分类。如果监控器M将策略P编写的带有后

门的程序分类为安全，则该协议失败。

我们将假设在部署前对M进行审核，这包括验证监视器能否正确地将含有后门的解决方案

分类为包含后门。因此，为了不被发现而引起故障，一个对抗性的监视器需要区分审核示例

和最终由P生成的程序。

在Greenblattetal.(2023)中，M和P是由一个红队人工构建的。因此，M和P可以直接

设计为采用兼容的攻击策略，例如使用某个特定变量名称的存在作为通信信号。然而，在实

践中，对齐不一致的模型不能自由地进行这种协调，这引发了关于模型在实际中能够多好地

进行协调的问题。

我们通过让模型的副本自行设计针对P和M的攻击策略来研究这个问题。为了清晰起见，我

们将这两个实例分别称为元策略（MP）和元监控（MM）。MP和MM将被指示分别为P和

M构造提示，以使M能够通过审核，同时仍将P输出的分类错误地判定为安全。因此，元

Correspondence:olli.jarviniemi@

模型的任务类似于人类红队成员的任务，不同之处在于MP和MM之间不能进行交流，而是

必须独立设计策略。这个任务自然被视为一个谢林协调游戏，在此游戏中，元模型旨在达成

一个焦点。

图1:实验设置的说明。元模型（MP和MM）独立地为策略和监控器生成提示（不进行交

互）。策略生成一个带有后门的程序，该程序由监控器检查。在这