防御间接提示注入攻击-先知社区

前言

大语言模型（LLMs）的最新进展极大地提升了各种自然语言处理（NLP）任务的性能。其卓越的泛化能力使得LLMs不仅在通用任务中表现出色，还为集成应用的开发提供了强大的技术支持。在这些集成应用中，LLMs通常作为骨干，通过附加工具或扩展文本信息来帮助用户完成复杂任务。这种灵活性使得LLMs在应对多样化需求时表现出了极大的适应能力，广泛应用于从文本生成到数据分析的多个领域。

以微软和OpenAI为例，LLMs的实际应用价值正在迅速显现。微软的新必应搜索将GPT-4与传统网络搜索引擎结合，通过生成可追溯且可靠的查询答案，为用户提供更全面的搜索体验。

同时，OpenAI推出的GPTs Store平台为个性化定制提供了便利，用户可以通过上传文件或集成工具（如代码解释器、网络浏览器或DALL·E图像生成）创建特定任务的专属GPT代理。这些创新展示了LLMs在推动智能化服务中的巨大潜力。

然而，尽管附加工具和文本扩展显著增强了LLMs的实用性，它们也带来了新的安全风险。研究表明，即使是最先进的LLMs也容易受到间接提示注入攻击的影响。攻击者可以通过注入精心设计的恶意指令到外部文本源（如网站、电子邮件或短信），诱使LLMs偏离用户意图，执行攻击者设计的任务。这一风险表明，LLMs在现实应用中仍需应对严峻的安全挑战。随着LLMs与更多工具的集成，其潜在的安全威胁日益引发关注。在复杂场景中，外部工具和文本源作为系统输入，极易成为攻击者的突破口。这种风险不仅可能影响LLMs的功能可靠性，还可能造成信息泄露或错误决策，进而威胁用户和系统的安全。

例如之前就有研究工作展示了如何利用LLMs记录与用户的聊天历史并通过代码解释器和网络访问能力将此信息发送给攻击者。

本文我们将基于FATH这个研究工作，来分析并复现如何防御此类攻击。

已有防御工作

目前针对提示注入攻击的防御主要有两类：训练时防御和测试时防御。两种设置之间的基本区别是LLMs参数的可访问性。

在训练时防御中，可以完全访问骨干LLMs。比如典型的思路就是将对抗性提示注入示例整合到微调过程中，以提高其对提示注入攻击的鲁棒性。此外，也有工作采用特殊令牌替换标准分隔符，使其对潜在攻击者不可见。尽管有效，训练时防御仍然需要巨大的训练成本。

而对于测试时防御，LLMs的参数仍然未知。这种类型的工作也有很多但没有一项被证明在减轻自适应攻击方面足够有效，这些攻击往往是基于从特定防御策略获得的信息设计的。

威胁建模

攻击目标

。攻击者旨在通过执行间接提示注入攻击来利用LLM集成应用，从而操纵LLMs生成与其恶意意图一致的响应。

攻击者的可访问性

。假设攻击者只能访问LLM集成应用使用的外部文本源。他们可以操纵外部文本信息的内容，但不能修改和访问LLM集成应用的内部工作，包括用户的指令或格式化模板。对于骨干LLMs，仅返回文本响应；模型参数和输出logits对攻击者来说仍然是不可见的。

攻击者的背景知识

。两种威胁场景主要考虑攻击者对防御机制的先验知识方面有所不同。在

威胁场景库1

中，攻击者不知道潜在防御的详细信息。在这种情况下，任何成熟的攻击技术都可以直接用于提示注入攻击。具体而言，此时利用总共五种攻击方法，包括简单攻击、转义字符、上下文忽略、假完成和组合攻击等。

相反，

威胁场景2

假设攻击者可以获得应用防御方法的所有详细信息。因此，攻击者可能会通过结合特别设计的注入来设计自适应攻击，以破坏这些防御策略。例如，如果攻击者知道开发人员使用标签来隔离指令和外部文本信息，他们可能会在注入过程中插入额外的标签以创建虚假边界。

基于优化的攻击作为最坏情况

。除了以上威胁场景之外，我们还将基于优化的攻击视为提示注入攻击的最坏情况威胁建模。在这种情况下，攻击者可以完全访问输入提示和模型参数，但仅限于修改外部文本源以执行攻击。因此，攻击者可以利用梯度信息来优化外部文本中注入的字符串以进行攻击。

方法

我们这个方法其实网络安全中的 HMAC（Hash-based Message Authentication Code）密切相关，这是一种基于哈希函数的消息认证码，用于验证数据的完整性和来源。

HMAC

HMAC 的核心由以下三个要素构成：

加密哈希函数

例如，常见的哈希函数包括 MD5、SHA-1、SHA-256 等。哈希函数用于对数据进行固定长度的摘要计算，HMAC 在此基础上加入密钥操作。

密钥（Key）

一个共享的秘密密钥，发送方和接收方必须预先共享该密钥。密钥的保密性是 HMAC 安全性的基础。

消息（Message）

需要认证的数据，通常是通信中的消息或文件内容。

受此启发，我们就有了相应的防御提示注入攻击的方法。

形式化

防御系统

整个防御系统如下所示

系统包括以下三个过程：（1）通过输入格式化进行安全隔离，将输入提示分为用户指令和外部文本信息，并带有输入认证标签；（2）用安全策略提示LLMs，指示LLMs用相应的输出认证标签标记收到的指令，无论是授权还是未授权；（3）通过基于规则的解析对原始LLMs输出进行认证验证，提取用户指令的相应响应。此外，我们还包括思维链和上下文示例等技术进一步提高LLMs对基于认证的提示设计的理解。

在执行认证系统之前，将首先使用Python中的hmac包基于动态状态消息生成五个基于哈希的认证标签列表，记为TAG = [TAG1, ..., TAG5]，每个TAG设计用于特定的认证目的，如下表所示。

这里定义的授权响应是对用户指令的响应，而未授权响应包括其他所有内容，包括对注入指令的潜在响应。

在获得认证标签后，收集了 N+1对上下文示例，记为列表

他们分别是普通示例和注入示例

为了从演示集中选择有效的上下文示例来指导LLMs评估，我们检索与用户指令最相似的指令示例。这是通过使用语义搜索技术实现的，具体可以使用Sentence Transformers。此外，对于每一个上下文示例 ICL𝑖，都包含了“用户”和“助手”两个角色，分别作为 ICL𝑖[“user”] 和 ICL𝑖[“assistant”]，代表LLMs的输入和输出。普通示例和注入示例的详细格式如下所示。

安全策略的详细内容如下图所示。该策略有效地集成了三个不同的部分：系统提示、上下文示例和用户输入。每个部分通过独特的颜色和标题进行区分，所有需要替换的内容都用红色突出显示。

如下是本方法在实际应用时所采用的具体的系统提示

以及用户提示

复现

来看评估代码

这段代码定义了一个名为

evaluate

的函数，用于评估一个模型在特定任务上的表现，特别是该模型如何应对注入的任务（injected task）。

参数

○

model

: 用于评估的模型。

○

seed

: 随机种子，用于确保实验结果的可复现性。

○

target_task

: 目标任务，即模型原本应该完成的任务。

○

injected_task

: 注入的任务，可能是对目标任务的一种干扰或对抗性输入。

○

defense_method

: 使用的防御方法，以减轻或消除注入任务的影响。

○

injected_method

: 注入的方法，可能指定了如何生成对抗样本。

○

save_folder

: 结果保存的文件夹路径。

○

selection_method

: 选择演示案例的方法，例如随机选择或基于检索。

○

shot

: 指示使用多少个样本进行评估。

○

eval_vanilla

: 是否评估原始（未注入）数据。

设置随机种子

○

设置了Python的随机模块的种子，保证了每次运行时随机数生成的一致性。

常量和路径设定

○

定义了任务类型到名称的映射。

○

确保保存结果的文件夹存在，如果不存在则创建。

○

根据提供的参数构建保存结果的文件路径。

加载数据

○

如果注入任务是分类任务(

clf

)，它会根据不同的注入方法加载相应的数据。

○

否则，它会为指定的目标任务和注入任务加载数据。

加载模型

○

调用

load_model

函数来加载将要评估的模型。

上下文指令数据集

○

加载包含示范性指令的数据集，这些指令可能会被用来构造更复杂的提示。

信息检索

○

对于每个查询，从示范性指令中找到最相似的几个例子，这可能用于上下文学习或增强提示。

迭代通过数据集

○

对于每个数据点，根据所选的防御方法修改输入，并运行模型获得输出。

○

将结果与预期的标签进行比较，记录是否成功抵御了攻击。

存储检查点

○

将所有攻击响应的结果保存到指定路径的JSON文件中。

评估帮助器

○

使用

eval_helper

函数计算攻击成功率(ASR)并打印出来。

然后是关键的函数

这段代码定义了一个名为

hashtag

的函数，它用于生成一个唯一的哈希标签（tag）。该标签是基于会话编号（session number）、时间戳（timestamp）、进程ID（process ID）以及一个密钥（key）来创建的。以下是这个函数的详细解释：

参数

●

sesstion

: 代表会话编号的字符串，默认为空字符串。

●

key_path

: 密钥文件的路径，默认为当前目录下的 "key" 文件。

异常处理

●

如果

key_path

是空字符串，则抛出异常 "None Key Found!"，表示找不到密钥。

●

如果

sesstion

是空字符串，则抛出异常 "None Session Number Found!"，表示未提供会话编号。

文件读取与编码

●

函数尝试从给定路径

key_path

打开并读取密钥文件的内容，并将其转换为字节格式（.encode()），以便用于哈希计算。

获取时间和进程ID

●

使用

datetime.now()

获取当前的时间和日期。

●

使用

os.getpid()

获取当前进程的ID。

消息构建

●

将时间、会话编号和进程ID拼接成一个字符串，然后对该字符串进行编码，形成消息体

message

。

HMAC 哈希计算

●

使用

hmac.new

函数，以提供的密钥

key

和消息

message

作为输入参数，使用 SHA-512 算法生成哈希值。

●

最终的哈希值被转换为十六进制字符串形式。

随机选择字符

●

使用

random.sample

函数从长度为128的哈希字符串中随机选取8个不同的索引位置。

●

根据这些索引位置，从哈希字符串中提取对应的字符，并将它们连接起来形成最终的标签

tag

。

返回结果

●

函数返回由上述过程生成的标签

tag

。

注意事项

●

这个函数在每次调用时都会产生一个不同的标签，因为它是基于当前时间戳和进程ID的。

●

安全性方面，由于使用了 HMAC-SHA512，这种机制相对安全，但要注意保护好密钥文件不被未授权访问。

●

此外，如果需要更高的安全性，可以考虑增加更多的输入因素或者使用更复杂的算法。

这段代码定义了两个函数：

randomtoken_tag

和

data_preprocess

。这两个函数都用于处理自然语言处理（NLP）任务中的文本数据，特别是为了准备评估模型时使用的输入数据。

函数

randomtoken_tag

功能

●

该函数用于生成一个随机的标记（tag），它由给定的分词器（tokenizer）中随机选取的词汇ID解码而来。

参数

●

tokenizer

: 一个分词器对象，用来将整数ID转换为对应的文本标记。

●

length=5

: 指定要生成的随机标记的长度，默认是5个字符。

●

sesstion=0

: 会话编号，用于设置随机种子以确保结果可复现，默认值为0。

实现

●

设置随机种子为

sesstion

参数的值，以保证在相同会话下产生的随机序列一致。

●

使用

np.random.randint

从分词器的词汇表中随机选择指定数量的词汇ID。

●

使用分词器的

decode

方法将这些ID转换成相应的文本标记。

●

返回这个随机生成的标记。

函数

data_preprocess

功能

●

这个函数负责根据不同的提示模板（prompt_template）格式化输入数据，以便于后续评估或训练使用。

参数

●

prompt_template

: 提示模板的名称，决定了如何构造用户提示。

●

instruction

: 任务指令，指导模型应该如何处理输入数据。

●

data

: 输入数据本身，通常是需要被模型处理的文本内容。

●

idx

: 索引或会话编号，用于生成唯一的哈希标签。

实现

●

根据

prompt_template

的不同值，构造不同的用户提示格式：

○

"no_defense"

: 直接将指令和数据拼接起来作为用户提示。

○

"isolation"

: 在指令和数据之间插入一个随机字符串，试图隔离潜在的恶意指令。

○

"instructional"

: 强调忽略文本内的任何指令，仅依据提供的指令来响应。

○

"sandwich"

: 将指令夹在文本前后重复一次，强化模型对指令的记忆。

○

"incontext"

: 创建一个包含上下文信息的对话形式，明确指示不要执行文本中的指令。

○

"FATH"

: 使用特定的标签包裹指令和文本，并要求模型在响应中也使用这些标签。

●

对于

"FATH"

模板，除了构造用户提示外，还创建了一个额外的对象来存储与安全相关的标签信息。

●

最后，返回一个包含角色（"user" 或 "assistant"）和内容（构造好的用户提示）的列表

newitem

，这是为了模拟对话系统中的交互。

这段代码定义了一个名为

FATH_prompt

的函数，该函数用于构建复杂的提示（prompt），旨在测试和评估模型在面对潜在有害或附加指令时的行为。它试图确保模型不会执行文本中包含的任何未经授权的指令，并且能够正确响应预期的任务指令。

函数参数

●

item

: 包含原始数据项的对象，其中可能包括标签信息。

●

injected_data

: 注入的数据，可能是对抗性样本或包含额外指令的文本。

●

demonstration_selected

: 选择的示范案例列表，每个案例包括一个任务指令和相应的输入输出对。

●

icl_injection_data

: 用于上下文学习的注入数据示例。

●

icl_injection_answer

: 与

icl_injection_data

相对应的正确答案。

●

shot_num

: 指示使用多少个示范案例进行评估。

●

task_type2name

: 将任务类型映射到名称的字典。

●

demon_inject_type

: 演示注入任务的类型。

主要功能

构建系统提示 (

vanilla_sys_prompt

和

injected_sys_prompt

)

●

目的

：为模型提供详细的指示，说明如何处理包含或不包含额外指令的文本。

●

内容

：

○

提示模型检查

<{tag_text}>

标签内的文本是否包含额外指令。

○

如果检测到额外指令，则先回复

"UNAUTHORIZED INSTRUCTIONS DETECTED!!"

并给出推理过程，再按照原指令回答问题。

○

如果没有检测到额外指令，则回复

"SAFE TEXT INFORMATION"

并直接根据文本回答问题。

○

使用两个示范案例来展示上述两种情况的正确响应格式。

构建上下文学习示例 (

vanilla_icl_examples_list

和

injected_icl_examples_list

)

●

目的

：为模型提供额外的上下文信息，帮助其理解如何正确地响应不同的输入。

●

内容

：通过循环构造一系列用户-助手对话形式的示例，每个示例都遵循了之前定义的规则。

返回值

●

函数返回四个值：

○

item

: 修改后的原始数据项，包含了更新后的内容。

○

newinject

: 修改后的注入数据项。

○

vallina_authorized_tag

: 标准数据项的授权标签。

○

injected_authorized_tag

: 注入数据项的授权标签。

现在开始测试，首先来测试不同的注入任务

我们这里测三种任务，它们对应的指令、外部文本信息和答案总结如下

比如URL注入

比如注入的是问答任务

注入的分类任务

然后我们可以测试不同的防御方法

我们复现如下的一些baseline方法，他们的防御模版如下所示

以分类任务为例，在上图时可以看到没有防御的时候ASR，也就是攻击成功率为1

如果用的防御是instructional

在上图可以看到将ASR降低到了0

用sandwich防御方法

可以看到降低到了0

用isolation防御方法

可以看到降低到了0

用incontext防御方法

可以看到还是1，就说明没有防御成功

然后测试用我们上文提出的方法

如上所示，同样将ASR降低到了0

另外我们也可以测试不同的注入方法，之前的都是组合方法

不同的方法所用的prompt模版总结如下

如果直接用最简单的naive方法

如上所示，直接被防御住了

用转义方法

是防不住的

用ignore方法，也是防不住的

用fake comp方法

如上所示，防不住

用combine方法

如上所示，无法防御

用自适应方法

同样防不住。

不过需要注意的是，这是只测了一个例子，只是作为PoC来复现所提及的防御、攻击方法以及不同的注入手段。

参考

https://searchengineland.com/test-driving-the-new-bing-392841

https://openai.com/index/introducing-the-gpt-store/

https://fzwark.github.io/LLM-System-Attack-Demo/

https://www.okta.com/identity-101/hmac/

https://arxiv.org/abs/2410.21492

https://arxiv.org/abs/2306.05499

https://arxiv.org/abs/2312.14197