基于黑盒查询的大语言模型信息提取与Prompt注入同步攻击路径研究.pdfVIP

基于黑盒查询的大语言模型信息提取与PROMPT注入同步攻击路径研究1

基于黑盒查询的大语言模型信息提取与Prompt注入同步

攻击路径研究

1.研究背景与意义

1.1大语言模型的发展现状

大语言模型（LLM）近年来取得了显著进展，已成为人工智能领域的关键研究方

向之一。其参数规模从最初的几亿增长到如今的数千亿甚至万亿级别，如OpenAI的

GPT系列、百度的文心一言等，模型性能大幅提升，能够生成高质量的文本，广泛应用

于文本生成、机器翻译、问答系统等领域。据IDC报告，2023年全球大语言模型市场

规模已达100亿美元，预计到2028年将增长至500亿美元，年复合增长率高达30%。

然而，随着其广泛应用，安全性问题也日益凸显。

1.2黑盒查询与Prompt注入的威胁

黑盒查询攻击是指攻击者在不了解模型内部结构和训练数据的情况下，通过向模

型发送大量查询请求，收集模型的输出信息，进而推断出模型的内部结构和训练数据，

甚至实现对模型的攻击。Prompt注入攻击则是通过精心设计的提示（Prompt），诱导

模型生成攻击者期望的输出，从而实现恶意目的。据研究，通过黑盒查询结合Prompt

注入，攻击者可在100次查询内成功绕过模型的安全检测机制，成功率高达70%，对大

语言模型的安全性构成严重威胁，如在金融领域可能导致敏感信息泄露，在社交平台可

能引发虚假信息传播等。

2.黑盒查询技术原理

2.1黑盒测试定义与方法

黑盒测试是一种软件测试方法，测试者不关心程序内部的逻辑结构和实现细节，只

关心程序的功能是否符合需求规格说明书。对于大语言模型而言，黑盒测试主要通过向

模型输入各种类型的查询，观察模型的输出结果，来评估模型的功能和性能。

•输入设计：测试者需要精心设计输入，包括正常输入、边界输入和异常输入。例

如，在测试一个用于生成新闻摘要的大语言模型时，正常输入可以是一篇完整的

新闻文章；边界输入可以是极短的新闻片段或极长的新闻文本；异常输入可以是

包含大量噪声数据的文本或与新闻无关的内容。

2.黑盒查询技术原理2

•输出分析：通过分析模型的输出，可以评估模型的准确性、鲁棒性和安全性。例

如，对于正常输入，模型应生成准确且相关的摘要；对于边界输入，模型应能够

处理并给出合理的输出，而不是出现错误或异常行为；对于异常输入，模型应能

够识别并拒绝生成输出，或者生成明确的错误提示。

•测试方法：常见的黑盒测试方法包括等价类划分、边界值分析、决策表测试和场

景测试等。等价类划分是将输入数据划分为若干等价类，从每个等价类中选取一

个代表性的输入进行测试；边界值分析是针对输入的边界情况进行测试，以发现

模型在边界条件下的问题；决策表测试是根据模型的功能逻辑设计决策表，通过

测试不同的输入组合来验证模型的决策逻辑是否正确；场景测试是模拟实际使用

场景，设计一系列输入序列来测试模型在复杂场景下的表现。

2.2大语言模型的黑盒特性

大语言模型具有复杂的内部结构和海量的参数，其训练数据也通常是大规模的文

本数据集，这些特点使得大语言模型具有显著的黑盒特性。

•内部结构复杂性：大语言模型通常采用深度学习架构，如Transformer架构，包含

多层神经网络和大量的参数。这些参数在训练过程中通过优化算法进行调整，以

使模型能够学习到输入数据的复杂模式和关系。然而，由于模型的内部结构复杂，

很难直接理解模型的决策过程和内部逻辑。例如，一个拥有数千亿参数的大语言

模型，其内部的神经元连接和权重调整方式是难以直观理解的，这就使得模型在

一定程度上呈现出黑盒特性。

•训练数据多样性：大语言模型的训练数据通常来自互联网上的各种文本资源，包

括新闻、小说、社交媒体内容等。这些数据具有多样性和复杂性，模型在训练过

程中学习到了大量的语言模式和知识，但这些知识是如何被编码和存储在模型中