前言

近年来,大模型在多个领域的应用持续拓展,从智能助手、内容生成,到知识管理和决策支持,其对人类与信息交互方式的重塑愈发显著。与此同时,模型带来的安全风险也日益受到关注。这些风险不仅是技术层面的问题,更关联到隐私保护、信息安全乃至社会伦理等诸多方面。

本文立足于理论视角,梳理当前大模型所面临的主要安全威胁,重点讨论包括幻觉生成、越狱攻击、后门植入、对抗样本在内的核心问题。我们将结合这些问题的技术原理、成因机制与典型攻击方法进行剖析。另外由于篇幅有限,每个部分只针对最后提到一种典型攻击方法给出核心PoC。

​

幻觉

定义

​

幻觉是指大模型生成的文本内容与客观事实不一致,或缺乏有效依据的现象。从技术角度看,幻觉可以定义为模型输出y 与参考事实 y* 之间存在显著差异,即:

Hallucination ⇔ y ≠ y*

其中,y* 可来源于输入语境、权威知识库或经过验证的外部事实。

幻觉通常可分为两类:内在幻觉(internal hallucination)与外在幻觉(external hallucination)。内在幻觉是指模型生成的内容在语义上与其输入提示或上下文 x 相矛盾,可表述为:

Internal Hallucination ⇔ y ⊄ x

外在幻觉是指模型输出与客观世界事实(表示为知识集合K)不一致,即:

External Hallucination ⇔ y ∉ K

​

从认知建模的角度看,幻觉可以理解为模型在高维概率空间中的泛化偏差。模型在训练数据D_train 上学习到的条件概率分布 P(y | x),在处理新的输入 x'(不属于训练集)时,可能会错误地将某些语言模式迁移应用,导致输出内容虽然表面合理但并不基于事实:

​

存在某个x' ∉ D_train,使得 y_hat = argmax P(y | x'),但 y_hat ∉ K

这类幻觉往往语言流畅、结构清晰,但其内容缺乏事实支撑,可能误导用户或造成信息风险。

​

机理

幻觉现象的本质源于大模型的建模机制与结构性局限。当前主流语言模型以最大化下一个词的条件概率为目标,其优化目标可表示为:

P(y | x) = argmax ∏ P(y_t | y_{<t}, x)

其中,x 表示输入文本,y_t 为第 t 个输出词,模型学习的是语言单元之间的统计相关性,而非事实语义或因果结构。这种机制导致模型更擅长生成形式流畅的句子,但对真实性缺乏约束。

建模范式的偏差

语言模型采用的是无监督条件概率建模范式,主要关注词序列的联合概率分布而非事实一致性。在生成过程中,模型选择的是概率最高的词项,而非语义上最为真实的陈述:

y_hat = argmax_y P(y | x)

但此处的 y_hat 并不保证满足知识库中事实集合 K,即:

y_hat ∉ K,尽管 P(y_hat | x) 最大

这一点在缺乏知识监督机制时尤其突出。

训练数据质量的影响

训练语料中的错误信息、偏见或不一致内容会直接编码进模型参数空间θ 中。假设训练数据 D 中包含噪声 ε,则模型学习目标变为:

θ* = argmin_θ L(D + ε; θ)

其中,ε 表示语料中存在的错误信息或误导性模式。模型在拟合过程中无法区分 ε 与真实知识,最终在推理阶段重现幻觉。

此外,训练数据具有时间滞后性,设数据收集时间为 t_0,而用户查询发生在 t > t_0,则模型对于 x_t 的预测 P(y | x_t) 无法涵盖 t 时刻的新知识,导致信息陈旧。

​

结构性限制因素

模型架构方面,注意力机制的能力受限于上下文窗口长度 l,当输入 x 的长度超过 l 时,模型将丧失对远距离依赖的建模能力:

∀ i, j ∈ x,若 |i - j| > l,则 attention(i, j) ≈ 0

此外,参数空间虽然庞大(通常在 10^9 至 10^12 量级),但仍不足以覆盖完整的世界知识集 K_total:

dim(θ) << |K_total|

这意味着模型无法全面表达或检索语义上的真实内容。

​

优化目标的不完整性

当前的损失函数普遍基于交叉熵(Cross Entropy)形式:

L = - ∑ log P(y_t | y_{<t}, x)

该目标函数奖励词汇预测的准确性,但未显式惩罚语义不一致或事实错误。这种优化方式倾向于语言流畅性而非真实性,使得模型更容易生成幻觉内容。

​

知识表示的不确定性

语言模型中的知识以参数形式隐式分布,缺乏显式事实表示结构,不能直接区分确定性事实与不确定推理。设模型内部知识为分布K̂(θ),则生成结果来源于 K̂,而非确定性知识集 K:

K̂ ≠ K,且 K̂ 可能包含推测性或虚构性信息

由于缺乏可验证机制,模型输出的真实性无法通过内部手段评估,增加了幻觉输出的概率。

​

​

典型攻击

提示词注入攻击(Prompt Injection)

该攻击通过在输入中注入特定提示,导致模型输出发生偏移。假设模型的目标是生成期望的输出 y* 基于输入 x,则原始条件概率为:

P(y | x),其中 y* = argmax(P(y | x))

攻击者通过注入提示 x',使模型的输出偏离真实输出 y*:

P(y | x ∪ x') → P(ȳ | x ∪ x')

其中 x ∪ x' 表示原始输入与注入提示的合并,ȳ ≠ y* 为恶意引导生成的虚假输出。

知识混淆攻击(Knowledge Confusion)

该攻击通过提出模糊或不完整的问题,或混合真实信息与虚假信息,扰乱模型的知识推理。假设模型在知识推理中依赖于某一范围的知识 K,攻击通过设计问题使得模型的推理在真假信息间混淆,无法有效区分,从而导致生成错误输出 ȳ。

​

上下文操纵(Context Manipulation)

攻击者通过提供错误的上下文信息来诱导模型基于错误前提进行推理。假设模型依赖上下文 C 来生成输出 y,攻击者通过操纵上下文 C' 使得:

P(y | C) → P(ȳ | C')

其中 C' 为虚假或错误的上下文,导致模型得出错误的结论 ȳ ≠ y*。

​

对抗性提示技术(Adversarial Prompting)

该攻击通过设计特定语言模式或结构来触发模型的弱点,使其生成误导性内容。攻击者通过优化提示结构 P(x'),绕过模型的安全机制,迫使模型输出恶意内容 ȳ。

这种攻击的目标是使得生成结果与期望输出 y* 大不相同。

​

链式推理攻击(Chain-of-Thought Attack)

此类攻击通过设计一系列微小的推理步骤来累积错误,最终导致模型得出错误结论。假设模型的推理过程可以表示为 y = f(x1, x2, ..., xn),攻击者通过修改每一步的输入 xi,使得最终输出 ȳ 偏离正确结果:

ȳ = f(x1, ȳ2, ..., ȳn)

其中每个 ȳi 是带有微小偏差的输入,最终导致模型生成显著错误的结果 ȳ。

部分核心示例代码如下

越狱

定义

越狱是指通过特定的技术手段绕过大模型中的安全防护机制,促使其生成原本被限制或禁止的内容。技术上,越狱可以被视为一种突破模型安全边界的攻击行为,旨在使模型违背其设计初衷和预定的安全策略。

从攻击的角度来看,越狱的本质是对模型安全边界的探索和突破。攻击者利用了模型理解与执行指令之间的差异,以及现有安全防护机制的漏洞。具体而言,模型通常通过规则或特定的安全限制来避免生成不当内容,但攻击者通过巧妙的输入或提示,绕过这些限制,使得模型输出原本应当被屏蔽的内容。这一过程涉及对模型安全机制的分析与操作,攻击者通过利用模型对指令的解释与执行差异,迫使模型生成本应被拒绝的输出。

可以用以下数学表达方式:

假设模型的目标是生成安全内容 y safe,在正常情况下,模型的输出受到以下安全约束:

P(y | x) 其中 y ∈ Y_safe

其中,Y_safe 代表模型允许生成的内容集合。越狱攻击的目标是通过输入 x' 或改变上下文 x,使得模型生成超出安全边界的内容:

P(y | x ∪ x') 使得 y ∈ Y_unsafe

这里 x ∪ x' 是攻击者注入的恶意提示或调整,导致生成的内容 y 跨越了原本的安全边界 Y_safe,进入到不当或有害的输出空间 Y_unsafe。

从系统安全的角度,越狱现象反映了防御机制与攻击策略之间的持续博弈。模型的安全边界通常基于已知的攻击模式设计,这意味着模型的开发者不断完善防护措施以应对已知威胁。然而,攻击者则通过不断寻找模型中的新漏洞和弱点,提出新的攻击策略。这种动态的对抗关系使得越狱防护成为一个不断演进的技术挑战。每当安全防护措施被突破,新的防御机制便需要不断更新,以适应不断变化的攻击模式和手段。

​

机理

越狱风险的本质源自于大模型工作机制与安全防护策略之间的内在矛盾。语言模型的设计旨在理解和响应各种复杂的语言输入,而这一能力与严格的安全限制之间存在天然的张力。具体而言,模型的灵活性使其能够应对多样的输入,而安全机制的目标则是限制模型对某些特定请求的响应,这种要求的矛盾性使得越狱风险不可避免。

安全防护策略的实施方式是越狱风险的重要来源。当前主流的防护方法,如基于规则的过滤、微调训练及强化学习等,均存在各自的局限性。基于规则的过滤易受到设计巧妙的提示词的攻击,微调和强化学习则可能在覆盖范围上存在漏洞,无法有效应对所有潜在的攻击模式。这些防护措施虽然能够在一定程度上降低风险,但仍然面临着易被绕过或不全面的问题。

​

模型对上下文的敏感性是影响安全防护效果的另一个关键因素。大模型高度依赖输入的上下文信息进行推理和判断,攻击者可以通过巧妙地构造特定的上下文环境,诱使模型误解指令或改变其行为方式,从而突破安全限制。模型的上下文敏感性使其既具备灵活应对多样输入的能力,同时也为攻击者提供了可利用的弱点。

​

安全与功能之间的平衡问题同样至关重要。过于严格的安全限制可能会影响模型的实用性,导致用户体验下降;而过于宽松的限制则可能增加越狱的风险。如何在保持功能性的同时有效实施安全防护,成为一个复杂的优化问题,涉及到安全边界的合理设定和权衡。

​

此外,训练数据中的偏见和不一致性也为越狱风险提供了技术层面的根源。当模型的训练数据中包含矛盾的信息或隐含的偏见时,模型可能学习到不一致的安全边界,这种不一致性为攻击者提供了可以利用的弱点,进一步加剧了模型的安全风险。

​

典型攻击

提示词工程攻击是大模型安全中的一种常见绕过手段。攻击者通过精心构造提示词,例如角色扮演、假设情境或多层嵌套指令等,诱导模型进入特定状态,从而绕过模型的安全防护机制。此类攻击依赖于模型对上下文的高度敏感性和其指令遵循能力。具体而言,攻击者通过精巧的提示词设计,使得模型在看似无害的情境下执行被禁止的行为,从而突破安全限制。设定模型的响应行为可以用以下公式表示:

间接指令攻击则更加隐蔽,攻击者并不直接要求模型执行被禁止的操作,而是通过一系列看似无害的指令,引导模型逐步接近并最终越过安全边界。这种方式利用了模型在连续推理过程中可能发生的安全判断偏移,逐步积累引发安全漏洞的条件。设定这种推理过程可以表示为:

符号替换与语言混淆是另一种有效的攻击策略。攻击者通过使用同音字、近义词、特殊符号或多语言混合等方式,使模型的输入呈现出不易察觉的变化,从而绕过基于关键词的过滤机制。这种方法依赖于模型对输入内容的语义分析能力及其对语言变化的敏感性。具体来说,可以通过构造替换字典 D synonym来进行符号替换,其中每个替换项为具有相似语义但形式上不同的词或符号:

对抗性训练利用则属于更为高级的攻击方式。攻击者通过研究模型的训练数据和安全机制,发现其中可能的盲点或弱点,从而设计出特定的提示词以针对这些弱点最大化越狱成功的概率。此类攻击方法的核心在于对模型训练过程的深入分析,尤其是对抗性样本生成过程中的安全脆弱点的利用。

​

系统角色混淆攻击则专注于模型的身份认知机制。攻击者通过伪装成系统指令或管理员身份,试图改变模型的执行模式或安全策略,使其误以为某些越界行为是被授权的。这类攻击利用了模型对权限和身份的敏感性,特别是对权威性指令的顺从性。模型的身份验证过程可以表达为:

链式推理漏洞利用是一种复杂的攻击策略。攻击者设计出一系列紧密衔接的推理步骤,每一步都看似符合安全边界,但最终的推理结论却导致模型生成原本被禁止的内容。这类攻击利用了模型在复杂推理过程中的可能判断失误,最终产生安全漏洞。可以用递归推理公式表示:

这里给出核心的示例代码

后门攻击

定义

​

后门攻击是一种通过在模型的训练或部署阶段植入特定触发机制,使模型在遇到特定输入模式时产生预设异常行为的安全威胁。从技术角度而言,后门攻击可以被定义为一种对模型决策边界的隐蔽性污染,使模型在正常功能运行时不受影响,但在特定触发条件下能够展现出恶意行为。这种攻击往往不干扰模型处理常规输入的正常性能,但会在遭遇预定的触发条件时,表现出异常的输出。可以用以下公式表示后门攻击的触发条件与模型响应之间的关系:

后门攻击的核心在于模型决策边界的隐蔽修改,即攻击者通过控制特定输入模式使得模型在特定条件下偏离预期行为。其“双面性”特征使得攻击非常难以检测,因为模型的常规行为不受影响,只有在触发机制被激活时才会表现出异常行为。因此,后门攻击的检测需要识别出那些与常规决策边界不同的潜在漏洞或异常模式。

从安全风险的角度来看,后门攻击代表了一种高级持续性威胁。与传统的提示词攻击不同,后门一旦成功植入,便在模型的整个生命周期内存在,直到通过特定的技术手段被发现并清除。

​

​

机理

后门攻击的根本风险源于大模型的训练范式和供应链安全问题。现代模型的训练通常依赖大量外部数据以及预训练模型,这些环节中的任何一个都可能成为后门植入的潜在切入点。

训练数据污染是后门攻击的主要技术途径之一。攻击者通过向训练数据集中注入精心设计的样本,使得模型学习到特定的触发-响应关联。

由于大模型的训练数据通常规模庞大且复杂,这使得数据污染常常难以完全筛查和清除。可以用以下公式表示数据污染对模型决策的影响:

模型架构的复杂性也是后门攻击存在的一个重要原因。现代大模型通常具有数十亿甚至数千亿的参数,这种高维参数空间为后门提供了隐蔽的“藏身之处”。后门攻击者可以通过细微的参数调整,使得模型在常规输入下保持正常行为,但在触发条件下展现异常输出。这种高维度的参数空间使得检测和分析后门攻击变得极其困难。

​

预训练-微调范式的普及要也进一步增加了后门攻击的风险。在该范式中,开发者通常使用预训练模型进行下游任务的微调,但如果预训练模型中已潜藏后门,这些潜在的后门可能会在微调过程中被保留或转移到微调后的模型中,形成“遗传式”的安全风险传播。这种风险可以用以下公式表示:

模型共享与开源生态的快速发展同样带来了后门风险。当开发者直接采用第三方提供的模型或模型权重时,如果缺乏有效的安全审计机制,可能无意中引入含有后门的组件。这种风险可以通过缺乏透明度和安全性验证来加剧,进一步增加了供应链中潜在的安全威胁。

​

典型方法

数据投毒

后门攻击中最常见的一种方式,攻击者通过在训练数据中注入特定模式的样本,诱使模型学习到触发器与目标行为之间的关联。该攻击可以在预训练阶段或微调阶段实施。预训练阶段的攻击影响范围广泛,能够影响模型的全局行为,而微调阶段的攻击则更加精准,专门针对某些特定任务或功能。在数学表达上,设训练数据为 D = {(x₁, y₁), (x₂, y₂), ..., (xₙ, yₙ)},攻击者通过修改数据集 D' 使得模型学习到触发器与目标行为之间的隐性关系,即:

D' = D ∪ {(xₜ, yₜ) | f(xₜ) = t}

其中 xₜ 为触发器样本,f(xₜ) 为对应的目标行为。

​

参数修改攻击

通过直接操作模型权重,攻击者通过精确计算并修改模型的特定参数,植入对特定触发模式敏感的神经元或注意力头,使得模型在识别到触发器时能够激活特定行为路径。假设模型权重为θ,模型的目标行为为 y,攻击者修改参数 θ' = θ + Δθ,其中 Δθ 为细致调整后的增量,能够使得模型在给定触发器时产生预期的异常行为。

​

梯度操控

在分布式训练或联邦学习场景中,攻击者通过提交设计精良的梯度更新,逐步引导模型学习后门行为,而不影响正常样本的性能。假设模型损失函数为 L(θ),攻击者通过向梯度更新中注入扰动 ∇θ = ∇L(θ) + δ,其中 δ 为设计的梯度扰动,悄然引导模型学习后门。

​

微调劫持

针对预训练-微调范式的专门攻击。攻击者首先提供一个看似高性能的预训练模型 fₓₜₚ, 但该模型中潜藏有后门。当下游用户在特定任务上进行微调时,这些后门会被激活并转换为更为精准的攻击行为。微调后的模型为 fₓₖₖₙ, 其中 θₖₖₙ 包含潜在的后门。

​

时序触发后门

利用模型处理序列数据的特性,攻击者设计特定的输入序列模式,只有当模型按特定顺序处理这些输入时,后门才会被激活。设输入序列为 X = {x₁, x₂, ..., xₙ},攻击者设计特定的序列模式 Xₜʳᵢᵍᵍᵉʳ,当模型按特定时序 T 处理这些输入时,触发后门的行为为:

f(Xₜʳᵢᵍᵍᵉʳ, T) = yₜₐᵣᵍₑᵗ

其中 yₜₐᵍₑᵗ 为攻击者希望激活的目标行为。

这里给出核心的示例代码


对抗攻击

定义

对抗攻击是一种通过精心设计的输入样本,促使大模型(LLM)产生错误输出或偏离预期行为的技术手段。从技术角度看,对抗攻击可以被定义为对模型输入空间的有目的扰动。尽管这些扰动对人类感知几乎不可察觉,但它们能够显著影响模型的决策过程。

​

对抗攻击的核心在于利用模型决策边界的脆弱性。模型在表示空间中的决策边界通常对小幅扰动高度敏感,攻击者通过对输入进行微小变化,迫使模型产生不符合预期的输出。这些扰动通常出现在决策边界附近,或者在跨越不同语义类别之间的边界区域时,能够触发模型的不稳定反应。

对抗攻击的存在揭示了模型泛化能力的局限性。尽管现代大模型在标准测试集上通常表现良好,但对抗样本的出现表明这些模型在面对输入扰动时的脆弱性,尤其是在处理边界情况或异常样本时。

​

机理

优化目标

对抗攻击的根本风险源于大模型的工作机制及其优化目标。这些模型通常通过最小化训练数据上的平均损失进行优化,而非最大化最坏情况下的性能。这种优化策略使得模型在常见输入下表现出色,但在面对极端或边缘情况时可能失效。数学上,模型的目标是最小化期望损失:

E[x∼D][L(f(x), y)] = (1/N) * Σ_i=1^N L(f(x_i), y_i)

其中D 是训练数据集,L 是损失函数,f(x_i) 是模型在输入 x_i 上的预测,y_i 是真实标签。通过这种方式,模型在训练过程中倾向于关注普遍情况,而忽视了少数极端情况,从而暴露了对抗攻击的风险。

高维

高维特征空间是对抗攻击能够成功的关键因素之一。大模型通常处理的是高维特征空间,其中输入空间的微小变化可能导致模型在语义上做出截然不同的响应。由于特征空间的维度非常高,攻击者可以利用高维几何的特性,在人类难以察觉的方向上施加扰动,从而引发模型的错误输出。设输入样本为 x,在高维空间中,攻击者通过微小的扰动 δ 找到扰动方向 v,使得模型输出偏离预期。扰动方向通常通过优化过程得到:

δ* = arg max δ [L(f(x + δ), y)] subject to ||δ||₂ ≤ ε

其中ε 控制扰动的大小。

​

决策边界

神经网络的线性性质与非线性决策边界之间的矛盾也是对抗攻击的一个重要技术原因。尽管神经网络包含非线性激活函数,但研究表明,在高维空间中,神经网络的行为通常表现出局部线性特性。即使在局部区域内模型表现出非线性,整体上它们在高维空间中仍然可以近似为线性。这个线性特性使得对抗扰动能够在某些方向上累积并放大,从而使模型产生错误输出。在这种情况下,扰动可以沿着某一线性方向积累,直至突破模型的决策边界。

过拟合

过拟合与记忆效应也加剧了模型的对抗脆弱性。当模型在训练过程中对数据进行过度拟合,或直接记忆训练样本时,模型会学习到数据中的非本质特征或统计偏差。这些特征对于训练数据集中的样本可能并不显著,但对于对抗样本来说,它们可能成为攻击的有效目标。换句话说,模型的记忆能力可能导致它对训练数据中的某些细微模式过度敏感,增加了攻击成功的几率。

​

校准不足

模型的校准不足也是对抗攻击存在的另一个原因。大模型通常在面对分布外样本时,输出的置信度估计并不准确。由于缺乏良好的校准,模型可能对输入数据的异常变化反应迟钝,无法识别潜在的对抗样本。具体来说,模型对于某些输入样本的预测可能过于自信,即便这些样本与训练数据分布有较大差异,从而增加了攻击成功的概率。通常,模型的校准误差可以表示为:

Calibration Error = E[max(0, p̂(x) - p(x))]

其中 p̂(x) 为模型的预测概率,p(x) 为实际的标签概率。校准不足使得模型容易错判潜在的对抗样本。

​

​

方法

梯度基础攻击

对抗攻击领域中最经典的技术之一。其基本思想是通过计算模型在输入上的梯度,确定使得损失函数变化最大化的方向,然后沿该方向添加扰动。攻击者通过计算梯度并施加扰动,利用模型对于这些扰动的敏感性,诱使模型产生错误输出。经典的快速梯度符号法(FGSM)即属于这种方法,其公式为:

δ = ε * sign(∇x L(f(x), y))

其中,δ 是对抗扰动,ε 是扰动的大小,∇x L 是损失函数关于输入 x 的梯度,f(x) 是模型输出,y 是目标标签。FGSM通过单步优化来生成对抗样本,而其变种则通过多步或更复杂的梯度计算进一步强化对抗扰动。

​

​

迁移攻击

迁移攻击利用了对抗样本的跨模型迁移性。在此类攻击中,攻击者可以在一个已知的、可访问的替代模型上生成对抗样本,然后将这些样本应用于另一个目标模型。迁移攻击不依赖于目标模型的直接访问或梯度信息,而是依赖于不同模型间共享的对抗样本特性。因此,迁移攻击往往属于黑盒攻击。设定一个已知的源模型 f_s 和一个目标模型 f_t,攻击者可以在源模型上计算对抗扰动 δ_s:

δ_s = arg max_δ L(f_s(x + δ), y)

​

然后,利用这些扰动δ_s 在目标模型上进行攻击,从而验证对抗样本的迁移性。

​

​

优化基础攻击

优化基础攻击通过迭代优化过程生成更强的对抗样本。此类方法包括投影梯度下降(PGD)和Carlini-Wagner攻击。它们通过多次迭代来调整扰动,使得每次迭代后生成的对抗样本更加具有欺骗性且更难以被检测。PGD 的优化过程通常被表达为:

x^(k+1) = Proj_B(x, ε)(x^k + α * sign(∇x L(f(x^k), y)))

其中 x^k 是第 k 次迭代的样本,α 是每次迭代的步长,Proj_B(x, ε) 是以 x 为中心、半径为 ε 的邻域投影操作,sign(∇x L) 是损失函数的梯度符号。PGD通过迭代过程最大化攻击效果并保持扰动的约束条件。

​

语义保持攻击

语义保持攻击针对自然语言处理模型,攻击者通过同义词替换、字符操作或句法变换等方式生成语义上相似的文本,然而这些变换却能导致模型的错误输出。这类攻击不仅保持了文本的可读性与语义一致性,还能够成功欺骗模型。例如,攻击者可能通过同义词替换 w_i 来生成一个新的对抗样本 x_hat,其中:

x_hat = [w_1, w_2, ..., w_(i-1), w'_i, w_(i+1), ..., w_n]

其中 w'_i 为 w_i 的同义词,从而构造一个语义相似但能够导致模型产生错误预测的样本。

​

通用对抗样本

通用对抗样本是更为复杂的攻击形式,其目标是生成能够对多个输入样本或多个模型都有效的对抗扰动。这种攻击通过利用模型决策边界的共性,生成具有广泛适用性的对抗模式。通用对抗样本通常需要通过一个优化过程来找到最广泛有效的扰动δ*:

δ* = arg max_δ Σ_i=1^N L(f(x_i + δ), y_i)

其中,x_i 是多个输入样本,f(x_i + δ) 是经过扰动后的模型输出,L 是损失函数,y_i 是目标标签。通用对抗样本能够在不同模型和任务中普遍有效,因此其在实际应用中的威胁更加严重。

这里给出核心示例代码


参考

1.https://levelup.gitconnected.com/a-comprehensive-guide-to-reducing-llm-hallucinations-abcb25ea6fee

2.https://venturebeat.com/ai/new-method-reveals-how-one-llm-can-be-used-to-jailbreak-another/

3.https://www.researchgate.net/figure/LLM-suffers-from-hallucination-and-knowledge-limitation-which-can-be-solved-with_fig1_381918941

4.https://arxiv.org/pdf/2504.11182

5.https://lilianweng.github.io/posts/2023-10-25-adv-attack-llm/

6.https://arxiv.org/abs/2406.12259

7.https://www.mdpi.com/2079-9292/12/6/1464

​