LLM 固有指纹-继续训练不足以窃取模型！-计算机科学-知识产权-继续训练.pdfVIP

LLM固有指纹：继续训练不足以窃取模型！

Do-hyeonYoon,MinsooChun,ThomasAllen,HansMüller,MinWang,andRajeshSharma

HonestAGICommunity

honestagi@

Abstract的资产，保护知识产权和防止未经授权的模型

重用已成为商业实体和研究机构面临的重大挑

大型语言模型（LLMs）在训练成本增加和

战(Samuelson,2023;Zengetal.,2024)。训练最

本模型复用变得普遍的情况下，面临着显著先进的LLMs所需的巨大投资为模型盗窃、未

译的版权和知识产权挑战。虽然已经提出了经授权的复制以及可能侵犯原始创作者权益的

中水印技术来保护模型的所有权，但这些技衍生作品提供了强烈的动机(Yaoetal.,2024)。

术可能不适用于持续培训和发展，对模型

1归属和版权保护构成严重威胁。本研究提

v传统的模型保护方法主要依赖于在训练或

4出了一种基于内在模型特征的简单而有效

1的稳健LLM指纹方法。我们发现，在不同推理阶段嵌入的水印技术(Kirchenbaueretal.,

0

3层中注意力参数矩阵的标准差分布展现出2023;Kuditipudietal.,2023)。然而，当面对持

0

.独特的模式，并且即使经过广泛的继续训续训练、微调或模型修改时，这些方法面临重

7

0练，这种模式仍然保持稳定。这些参数分大漏洞。对手可能通过额外的训练迭代移除或

5布签名作为可靠的指纹，能够可靠地识别模糊水印，使得传统保护机制不足以实现强大

2

:模型谱系并检测潜在的版权侵权行为。我

v的版权执行。这一限制产生了对更耐用指纹识

i们的实验验证了这种方法在多个模型家族

x别方法的迫切需求，这些方法能够在各种形式

r中的有效性，用于模型认证。值得注意的

a是，我们的调查发现了证据表明华为最近的模型操作和适应中存活。

发布的PanguProMoE模型是通过升级技

在这项工作中，我们提出了一种简单而有

术从Qwen-2.514B模型衍生出来的，而不

效的LLM指纹识别方法，该方法利用了内在

是从零开始训练，这突显了潜在的模型剽

窃、版权侵犯和信息伪造案例。这些发现参数特征而不是外部施加的水印。我们的关键

强调了在大规模模型开发中保护知识产权见解是注意力参数矩阵的简单统计特性，即它

的关键重要性，并指出仅靠故意继续培训们在各层之间的标准差分布，形成了非常稳定

不足以完全掩盖模型起源。