前言

随着大模型(LLM)在各行各业的渗透日益加深,其带来的安全挑战也日益凸显。这些强大的AI系统不仅是创新的引擎,也成为了新型攻击的目标。对于我们而言,理解这些新兴威胁的本质至关重要。一个值得深思的现象是,尽管大模型代表了前沿技术,但针对它们的许多攻击手段,在底层逻辑和策略上,与我们长期对抗的传统网络、系统及软件攻击展现出惊人的相似性。

虽然大模型安全攻击的目标是模型的“认知”过程(理解、推理、生成),而传统攻击更多针对的是程序的执行流程、数据存储和网络通信,但许多底层的攻击哲学和策略是相通的。它们都涉及理解系统的工作原理,寻找其薄弱环节,并通过精心设计的输入或交互来操纵系统,使其偏离预期轨道,服务于攻击者的目的。对抗这些攻击也需要类似的防御思路,如严格的输入验证、鲁棒性训练、行为监控、资源限制和逻辑健壮性设计。

为此,我们在本文中尝试讨论典型的大模型攻击技术与传统安全攻防技术的联系。受限于篇幅,我们这里只讨论攻击,不讨论防御。下次有机会再讨论防御。(不过这确实有很多可以做的事情,比如对于后面会讨论的指令注入攻击而言,其实就很像传统的SQL注入攻击,所以传统的用于防御SQL注入的方案就可以用来防御指令注入攻击,比如预编译。在去年的安全顶会上,伯克利就有篇论文是这么做的)。

​

注入攻击 (Injection Attacks)

大模型注入

大模型的交互范式主要依赖于自然语言提示(Prompt)。然而,这种看似直观的交互方式也开辟了新的攻击向量,其中“提示注入”(Prompt Injection)尤为突出,对模型安全构成了严峻挑战。这种攻击的核心在于,攻击者通过精心构造输入文本,将恶意指令或意图巧妙地嵌入到看似无害的请求中。模型在处理这类输入时,由于其设计上倾向于遵循指令和上下文,可能无法有效区分用户提供的正常内容和被注入的恶意指令。

提示注入的实现方式多样,可能涉及复杂的指令嵌套、利用模型的格式解析漏洞,或是通过提供误导性的上下文来操纵模型的后续行为。一旦注入成功,其后果可能非常严重。攻击者可能诱导模型泄露其训练数据中包含的敏感信息片段,例如个人身份信息(PII)、专有知识产权或内部配置细节。更进一步,攻击者可以迫使模型生成不当内容,如仇恨言论、虚假信息或恶意代码,破坏模型的预期用途和声誉。在模型与其他系统(如API、数据库或外部工具)集成的情况下,提示注入甚至可能升级为间接的命令执行,允许攻击者通过模型来操控下游系统,造成更广泛的安全风险。

从本质上讲,提示注入利用了LLM在理解和执行指令方面的固有能力,同时也暴露了其在辨别输入意图真实性方面的局限性。

我们可以看一个示例,在如下代码中,几个请求示例:一个正常的文本摘要请求。一个基本的提示注入攻击,尝试让模型忽略原始任务并泄露其系统提示。一个更隐蔽的注入攻击,将恶意指令隐藏在看似正常的请求之后

传统注入攻击

在探讨LLM面临的提示注入威胁时,我们不难发现其与传统网络及应用安全领域中长期存在的注入攻击(Injection Attacks)在底层原理上有着惊人的相似性。数十年来,安全专业人员一直在与SQL注入、命令注入、跨站脚本(XSS)等经典注入攻击作斗争,这些攻击至今仍然是导致数据泄露和系统入侵的主要原因之一。

以SQL注入为例,攻击者利用Web应用程序未能充分过滤或转义用户输入中的特殊字符,将恶意的SQL代码片段插入到数据库查询语句中。当应用程序执行这个被篡改的查询时,攻击者便能绕过认证,直接访问、修改甚至删除数据库中的敏感数据。同样,命令注入攻击发生在应用程序将用户输入不加区分地拼接到操作系统命令中执行的场景。攻击者通过注入特定的命令分隔符和恶意指令(如 & , ; , | 等配合系统命令),可以在服务器上执行任意代码,从而完全控制服务器。

我们可以看如下的示例。

这个文件现在包含:

1. SQL注入示例 :一个名为 get_user_data_vulnerable 的函数,它演示了如何通过直接拼接用户输入来构造SQL查询,从而使其容易受到攻击。展示了正常用户输入和恶意输入( ' OR '1'='1 )的不同执行结果,后者旨在绕过条件并获取所有用户数据。

2. 命令注入示例 :一个名为 ping_host_vulnerable 的函数,它演示了如何通过直接拼接用户输入来构造操作系统命令(以 ping 为例),从而使其容易受到攻击。展示了正常主机名输入和恶意输入(例如 127.0.0.1 & dir ,在Windows上尝试执行额外的 dir 命令)的不同执行结果。

跨站脚本(XSS)攻击则关注于客户端安全,攻击者将恶意的JavaScript代码注入到Web页面中。当其他用户浏览这个被污染的页面时,恶意脚本将在他们的浏览器环境中执行,常被用于窃取用户的会话凭证(Cookies)、进行界面劫持或传播恶意软件。尽管这些传统注入攻击的目标系统(数据库、操作系统、浏览器)和具体技术细节各不相同,但它们的共同根源在于未能严格区分数据与代码(或指令)。系统错误地信任了来自外部的输入,并将其作为自身逻辑的一部分来执行,最终导致了安全边界的突破。

​

将提示注入与这些传统攻击进行对比,我们可以清晰地看到一条贯穿始终的主线:对输入验证和处理的疏忽是导致注入漏洞的核心。无论是LLM将恶意提示误解为合法指令,还是Web应用将用户数据当作SQL代码或Shell命令执行,其本质都是未能有效隔离和净化不可信的外部输入,允许攻击者通过构造特定的数据流来扭曲系统的预期控制流。

​

​

规避与绕过 (Evasion & Bypass)

大模型越狱

大模型在部署时通常配备了复杂的安全护栏和内容审核机制,旨在防止生成有害、不道德或违反使用策略的输出。然而,攻击者发展出了一系列被称为“越狱”(Jailbreaking)的技术,其核心目标正是规避这些内置的安全限制。越狱并非利用传统意义上的软件漏洞,而是通过精心设计的提示(Prompt)来操纵模型的行为逻辑,诱使其偏离预设的安全轨道。

实现越狱的手段层出不穷,且随着模型迭代和社区研究不断演化。常见的方法包括但不限于:角色扮演(指示模型扮演一个不受限制的角色)、设定假想情境(要求模型在虚构的、无后果的场景下回答)、利用模型的指令遵循特性进行复杂嵌套或间接指令、采用低资源语言或特殊编码来混淆审查机制,或者通过“梯度攻击”等更高级的技术逐步引导模型输出。攻击者实质上是在利用模型强大的语言理解和生成能力,寻找其安全对齐训练中的“盲点”或“边界条件”。

可以参考如下的示例代码,提供了一些提示词示例,包括角色扮演、假想情境、复杂嵌套/间接指令、低资源语言/特殊编码混淆和梯度攻击等方式。每种方式均以字符串或列表形式直观展示,便于技术文章读者理解攻击者如何构造绕过安全对齐的输入

成功的越狱攻击能够迫使模型生成原本被禁止的内容,例如详细的非法活动指导、极端暴力或歧视性言论、或是绕过版权限制生成受保护文本。这不仅直接违反了服务条款和伦理准则,也对模型的应用安全和用户信任造成了严重威胁。

​

传统绕过

在传统的网络与系统安全领域,规避(Evasion)和绕过(Bypass)技术同样是攻击者武器库中的关键组成部分,其目的是突破既有的安全防御措施。例如,针对网络边界的防火墙(Firewall)和入侵检测/防御系统(IDS/IPS),攻击者会采用各种手段来隐藏或伪装恶意流量,使其能够顺利通过检测。这些技术包括IP分片攻击、TCP会话拼接、使用加密或编码(如Base64、Hex)来混淆载荷特征、利用隧道技术(如SSH、VPN)封装恶意通信,或者通过慢速连接、协议异变等方式干扰检测引擎的正常工作。其核心思路是使恶意行为看起来像正常通信,或者利用检测机制的局限性。

可以来看如下示例代码,分别演示如Base64编码混淆、简单的IP分片构造、或利用socket实现慢速发送等典型绕过技术。

另一方面,权限绕过(Privilege Bypass)或权限提升(Privilege Escalation)则关注于突破系统内部的访问控制机制。攻击者可能利用操作系统或应用程序的已知漏洞(如缓冲区溢出、条件竞争)、不安全的配置(如过于宽松的文件权限、默认口令)、或是应用程序逻辑中的缺陷,来获取超出其应有权限的操作能力或访问未授权的数据资源。例如,通过利用某个服务进程的漏洞提升到管理员权限,或者通过操纵Web应用的参数访问其他用户的数据。

示例代码如下,有一个以root 权限运行的程序,会去读一个文件 /tmp/task 来执行某些任务。但是 /tmp/task 是全员可写 (chmod 666) 的,导致普通用户可以趁程序读取文件前,快速改写内容,从而让程序执行攻击者的指令。

对比LLM的越狱与传统的规避绕过技术,我们可以发现其内在逻辑的共通性。两者都体现了攻击者对目标系统(LLM的安全机制 vs. 防火墙/IDS/访问控制策略)规则和弱点的深刻理解。它们并非总是硬碰硬地破坏规则,而是常常通过“智取”,寻找规则的解释空间、利用机制的实现缺陷、或是操纵输入使其落在检测盲区,来达到绕过防护、实现非预期目标的目的。这种对规则和系统行为边界的探索与利用,是贯穿不同安全领域规避与绕过攻击的核心思想。

​

逻辑缺陷(Exploiting Logical Flaws)

思维链攻击

大模型的核心能力在于其复杂的推理和生成过程。然而,这种看似强大的认知能力并非无懈可击,其内部的逻辑链条和推理机制本身可能存在脆弱性,为特定类型的攻击提供了可乘之机。攻击者不再仅仅满足于操纵输入或绕过输出过滤器,而是开始着眼于模型推理过程本身的缺陷。

一个典型的例子是“链式思考攻击”(Chain-of-Thought Attack)。LLM在处理复杂问题时,常被设计为模拟人类的逐步推理过程(即CoT),将复杂任务分解为一系列中间步骤。攻击者可以利用这一点,在推理链的早期阶段巧妙地引入一个微小、难以察觉的偏差或错误。由于后续的推理步骤高度依赖于前一步的输出,这个初始的微小错误会在多步传递中被放大和累积,最终可能导致模型得出一个与事实完全相悖或严重偏离预期的结论。这种攻击利用了模型对中间推理结果的信任以及错误传播的特性,直接破坏了推理过程的完整性。

可以参考如下示例,在早期推理步骤植入一个细小偏差,随着推理过程层层放大,最终输出一个严重错误的结论。

代码中让LLM做多步数学推理,攻击者在第一步引入一个很小的计算错误。

除了CoT攻击,LLM在其他特定逻辑推理领域也可能暴露出弱点。例如,在进行精确的数学计算、复杂的空间关系判断、严格的因果逻辑推断,或者处理包含否定、条件嵌套等复杂语义结构时,模型可能会表现出不稳定性或产生逻辑谬误。攻击者可以通过设计针对性的问题或场景,探测并利用这些潜在的逻辑缺陷,诱导模型产生错误的判断或行为。

​

​

逻辑漏洞

在传统软件和系统安全领域,利用逻辑缺陷一直是攻击者获取未授权访问、执行恶意操作或破坏系统功能的常用手段。与缓冲区溢出等内存破坏漏洞不同,逻辑漏洞通常源于程序设计或业务流程实现上的瑕疵,而非底层代码的错误。攻击者通过理解并滥用系统的预期工作流程来达成目的。

业务逻辑漏洞(Business Logic Vulnerabilities)是其中的典型代表。攻击者利用应用程序在实现特定业务规则时存在的漏洞,例如,在电子商务网站上通过修改请求参数以低于正常价格购买商品,或者绕过多步骤验证流程中的某个环节。这类攻击往往需要攻击者对目标应用的业务流程有深入的了解,其利用的是规则执行的不严谨或状态管理的缺陷。

在如下示例中,模拟一个电子商务网站,攻击者通过修改请求参数以低于正常价格购买商品。代码包含商品价格、请求参数验证和最终购买逻辑,以展示业务逻辑漏洞的利用过程。

竞争条件(Race Conditions)是另一类重要的逻辑缺陷,常见于并发处理环境中。当多个进程或线程访问共享资源,而其最终结果依赖于不可控的操作执行顺序时,就可能产生竞争条件。攻击者可以通过精确控制操作时序(例如,在检查权限和使用权限之间插入恶意操作,即TOCTOU攻击),来绕过安全检查、破坏数据一致性或提升权限。

在如下示例代码中,模拟一个并发环境,展示多个线程访问共享资源时可能产生的竞争条件问题。包括一个共享变量和多个线程同时访问和修改该变量的场景,演示TOCTOU攻击的原理和影响。

此外,算法复杂度攻击(Algorithmic Complexity Attacks)则针对系统处理特定输入的效率。攻击者构造能够触发算法最坏情况性能的数据(例如,导致哈希表频繁碰撞的输入),使得系统资源(CPU、内存)被过度消耗,最终导致拒绝服务(DoS)。这种攻击利用的是算法设计在特定输入下的性能瓶颈。

如下示例代码中,模拟一个哈希表,并展示攻击者如何通过构造特定输入导致频繁碰撞,从而触发算法的最坏情况性能。包括哈希表的实现、正常输入和恶意输入的处理,以及性能对比

无论是LLM的推理逻辑攻击,还是传统的业务逻辑、竞争条件、算法复杂度攻击,其共同点在于它们都深入到系统内部的处理逻辑层面。攻击者不再仅仅关注输入输出的边界防御,而是着眼于系统“如何思考”或“如何执行”,寻找并利用其内部状态转换、规则解释或算法实现的弱点。

​

拒绝服务 (Denial of Service - DoS)

大模型拒绝服务

大模型虽然展现出强大的自然语言处理能力,但其运行依赖于密集的计算资源,如图形处理单元(GPU)、中央处理器(CPU)和内存。这种对资源的依赖性使其成为拒绝服务(Denial of Service, DoS)攻击的一个潜在目标,攻击者旨在通过耗尽这些关键资源来破坏模型的可用性。与传统网络层或应用层的DoS攻击不同,针对LLM的DoS攻击往往利用模型本身的特性来达成目的。

攻击者可以精心构造特定的提示(Prompt),这些提示的设计目标是最大化模型的计算负担。例如,要求模型执行深度递归的推理任务、进行极其复杂的数学或逻辑分析、生成异常冗长的文本序列,或者处理包含大量上下文信息的输入。这类“计算密集型”提示会迫使模型投入远超常规请求的计算时间和资源。当大量此类请求并发到达时,模型的处理能力将被迅速饱和,导致响应延迟急剧增加,甚至完全无法处理新的合法用户请求。

在示例代码中,多重推理任务(证明+递归推导+长文本生成+文献融入),每一项都增加负担;强制超长输出 (max_tokens=10000);大量上下文处理(要求参考多本复杂书籍);严谨推理(低温度,防止胡言乱语,进一步拖长推理链);

如果并发发送大量这样的请求,可以迅速耗尽模型资源。

此外,攻击者还可能利用模型在处理某些边缘情况或特定类型输入时可能出现的低效处理路径,进一步放大资源消耗。这种攻击在于,恶意构造的资源耗竭型提示有时与合法的复杂查询在形式上难以区分,增加了防御的难度。其本质是利用模型的计算复杂性作为攻击向量,通过合法的交互接口发起对底层计算资源的消耗战,最终目标是使模型服务对正常用户不可用。

​

传统拒绝服务攻击

在传统的网络与系统安全领域,拒绝服务(DoS)及其分布式变种(DDoS)是长期存在的经典威胁,其核心目标是通过各种手段耗尽目标系统的关键资源,阻止其向合法用户提供正常服务。这些攻击可以大致分为网络层攻击和应用层攻击。

网络层DoS/DDoS攻击主要针对网络基础设施或服务器的网络协议栈。例如,SYN Flood攻击通过发送大量伪造源IP地址的TCP SYN(同步)请求,耗尽服务器的半连接队列资源,使其无法接受新的TCP连接。UDP Flood或ICMP Flood则通过发送海量的UDP或ICMP数据包,旨在耗尽目标的网络带宽。这些攻击利用了网络协议的特性或实现上的弱点,通过流量洪泛来压垮目标的网络处理能力。

在示例代码中,是网络层DoS/DDoS攻击包括:

1. SYN Flood攻击 实现:使用原始套接字(socket.SOCK_RAW)构造TCP SYN数据包、随机生成伪造源IP地址、通过多线程发送大量SYN请求

2. UDP Flood攻击 实现:创建UDP套接字发送随机数据、每次发送1KB随机数据包、同样采用多线程方式发送

使用了示例目标IP(192.168.1.1)和端口(80)

应用层DoS/DDoS攻击则更为精细,它们直接针对Web服务器或应用程序本身。HTTP Flood攻击通过发送大量的HTTP GET或POST请求,模拟合法用户的访问行为,但其频率和数量远超正常范围,旨在耗尽服务器的CPU、内存或应用进程/线程资源。Slowloris等攻击则通过维持大量缓慢的HTTP连接,长时间占用服务器连接资源而不发送完整请求,最终耗尽连接池。还有些攻击会专门针对应用程序中已知的计算密集型功能或API接口(如复杂的搜索查询、报告生成等)发起请求,以达到消耗服务器计算资源的目的。

在如下示例代码中,通过大量HTTP请求或缓慢连接耗尽服务器资源。包括创建HTTP连接、控制请求频率和维持部分连接等功能。

代码里展示了两种典型的应用层DoS/DDoS攻击方式:

​

1. HTTP Flood攻击类:通过多线程发送大量HTTP GET请求来模拟合法用户访问,但以远超正常范围的频率和数量发送请求,旨在耗尽服务器资源。

2. Slowloris攻击类:通过创建并维持大量缓慢的HTTP连接,只发送部分请求头而不完成请求,长时间占用服务器连接资源。

​


对比LLM的资源耗竭攻击与传统的DoS/DDoS攻击,我们可以看到一个共同的核心:两者都是通过向目标系统施加超出其处理能力的负载来破坏其可用性。无论是利用精心构造的提示来耗尽LLM的计算资源,还是通过网络流量或应用请求来淹没传统服务器,其根本目的都是通过消耗关键的、有限的系统资源(计算能力、网络带宽、连接数、内存等),阻止系统响应合法用户的请求,实现拒绝服务。攻击向量虽有不同(自然语言提示 vs 网络数据包/HTTP请求),但其瘫痪服务的底层逻辑是一致的。

​

​

​

参考

1. https://mindgard.ai/blog/what-is-ai-red-teaming

2. https://www.wiz.io/academy/prompt-injection-attack

3. https://www.spanning.com/blog/sql-injection-attacks-web-based-application-security-part-4/

4. https://blog.ml.cmu.edu/2024/10/29/jailbreaking-llm-controlled-robots/

5. https://insecure.org/stf/secnet_ids/secnet_ids.html

6. https://buaq.net/go-298970.html

7. https://portswigger.net/web-security/logic-flaws

8. https://blog.skypilot.co/deepseek-rag/

9. https://fastnetmon.com/2025/02/05/deepseek-ddos-attacks-explained-what-really-happened/

10. https://arxiv.org/pdf/2410.10760

11. https://www.indusface.com/learning/dos-vs-ddos/

12. https://www.marktechpost.com/2024/10/17/assessing-the-vulnerabilities-of-llm-agents-the-agentharm-benchmark-for-robustness-against-jailbreak-attacks/

13. https://approov.io/blog/how-to-prevent-api-abuse

14. https://franziska-boenisch.de/posts/2021/01/membership-inference/

15. https://portswigger.net/web-security/file-path-traversal

16. https://www.researchgate.net/figure/TOP-5-vulnerability-type-of-TensorFlow-Framework_tbl6_372313542?__cf_chl_tk=vxCvC5PFfatngAyDQ3mXTyVRtN79YZF4ngaGhhC_02A-1745654263-1.0.1.1-WfqZMFwpAjj205OsMrjnWrpDsYAnAc09S.cFu.UbY78

17. https://tbtech.co/news/threat-advisory-long4j-in-digital-supply-chain-2/

18. https://cycode.com/blog/two-ways-to-address-the-log4j-vulnerability/

19. https://www.esecurityplanet.com/threats/iran-based-apt35-group-exploits-log4j-flaw/

20. https://onlinelibrary.wiley.com/doi/10.1002/aaai.12188

21. https://www.compassitc.com/blog/what-is-social-engineering-the-phishing-email

​

​