大模型驱动的多智能体系统安全现状分析
大模型驱动的多智能体系统(LLM-MAS),可以看作是 AI 发展中的一次重要转向。早期的多智能体系统主要依赖规则、逻辑和人工设计的流程,而随着大语言模型的引入,智能体开始具备更强的理解能力、推理能力,以及一定程度的自主决策能力。
前言
从单模型到多智能体
大模型驱动的多智能体系统(LLM-MAS),可以看作是 AI 发展中的一次重要转向。早期的多智能体系统主要依赖规则、逻辑和人工设计的流程,而随着大语言模型的引入,智能体开始具备更强的理解能力、推理能力,以及一定程度的自主决策能力。
现在的智能体,本质上是“被智能体化的大语言模型”。它们不只是回答问题,而是能够同时完成三件事:思考问题、采取行动、与其他智能体互动。当这三种能力结合在一起,一个 LLM 就不再只是工具,而是可以在复杂环境中连续做决策、一步步推进任务的“执行者”。

LLM-MAS 最大的优势,在于它们特别适合处理复杂、长流程、需要多角色配合的任务。系统可以把一个大问题拆成多个子任务,再交给不同的智能体分别处理,比如有人负责分析,有人负责规划,有人负责执行或校验。
这种分工协作的方式,往往能显著提升整体效果,做到单个智能体很难实现的结果。也正因为如此,LLM-MAS 被广泛用于复杂任务求解、真实场景模拟,以及对生成式智能体进行更动态、更灵活的评估。很多研究甚至把它当作一个“实验沙盒”,用来观察智能体在真实交互中的行为变化。
但需要警惕的是,LLM-MAS 的优势,恰恰也是它的风险来源。
为了让多个智能体高效协作,它们之间必须频繁通信、共享信息,甚至相互影响决策。这种高度互联的结构,一旦出现错误信息、恶意行为或目标偏移,就很容易在系统内部被放大和扩散。
随着智能体数量的增加,风险并不会线性增长,而往往会被协作关系“放大”。在这种情况下,信息污染、智能体之间的恶意串通,或者集体目标逐渐偏离原本设定,都会变得更难发现、更难控制。

正因为这些特点,当 LLM-MAS 被用于医疗诊断、金融分析、物流调度等高风险场景时,安全问题就不再是“可选项”,而是系统能否落地的前提。
传统针对单个大模型的安全手段,比如防越狱、控幻觉,更多是假设模型是“孤立运行”的。但在多智能体这种开放、动态、持续交互的环境中,这些方法往往效果有限。
要真正保障 LLM-MAS 的可靠性和可控性,安全研究必须从“单模型对齐”转向系统级、交互级的安全设计,关注智能体之间如何影响彼此、如何形成集体行为,以及在什么情况下会整体失控。
要理解多智能体系统(LLM-MAS)的安全问题,首先得看清楚单个智能体内部是怎么运转的。
在现在主流的 LLM-MAS 里,智能体的工作流程可以看作是对传统 MAPE-K(监控、分析、规划、执行、知识)循环的一次“重组”。和早期基于规则或符号推理的智能体不同,引入大模型之后,分析和规划不再是独立模块,而是直接揉进了一次大模型推理里。
具体来说,智能体会不断从环境中获取信息,也会接收其他智能体发来的消息,然后把这些内容整理成 Prompt 输入给 LLM。LLM 在一次推理过程中,同时完成信息理解、知识调用、上下文分析,并给出下一步行动或决策。
这种做法的好处是显而易见的:系统更灵活,表达能力更强,面对复杂场景更“聪明”。但问题也随之而来,推理过程变得又长又黑箱,外部几乎无法精确判断模型是“怎么想出这个决策的”,这直接增加了安全分析和审计的难度。
多智能体系统的安全性,很大程度上不取决于某一个智能体有多安全,而取决于它们是怎么连在一起的。
目前常见的协作结构包括集中式、去中心化等多种形式。不同结构在面对错误信息、恶意智能体时,表现出来的抗风险能力差异很大。

以医疗安全评估框架 MedSentry 的研究为例,对多种典型协作结构的对比发现了一些很直观的问题:
- SharedPool 架构由于信息高度共享,一旦有智能体往公共池里塞入错误或恶意信息,这些内容很容易被其他智能体“无条件吸收”,从而快速扩散。
- 相比之下,去中心化结构因为信息分散、路径冗余,在面对具有攻击性的“暗人格”智能体时,往往更不容易被整体带偏。
这些结果说明,系统架构本身就可能是安全风险的放大器。只有先搞清楚不同协作方式的先天弱点,才能有针对性地设计防御机制。
在多智能体环境中,只关注单个智能体是否“对齐”(Alignment)其实是不够的。即使每个智能体单独看都很“听话”,它们一起互动时,整体行为仍然可能跑偏。
原因很简单:多智能体系统是动态的、异构的,智能体之间的影响会叠加,最终产生一些难以预料的集体行为。因此,安全目标需要从“单体对齐”升级为系统层面的“共识建立”。
这里的“共识”,并不是简单的意见一致,而是指系统能够持续地给出行为一致、决策可信、语义统一的集体结果。换句话说,不只是每个智能体各自理解“对的是什么”,而是它们之间对“对”的理解是兼容、可验证的。
要做到这一点,就需要引入更客观的衡量方式,把原本偏主观的目标变成可检查、可评估的指标,从而确保多智能体协作的结果始终落在预期的安全范围内。
多智能体的安全风险全景
在多智能体系统里,很多系统级风险并不是凭空出现的,而是从最底层的模型能力和组件设计一步步放大的。哪怕单个问题在普通场景下看起来还算可控,一旦放进多智能体环境,后果往往会被成倍放大。
不管系统设计得多复杂,最核心的风险还是来自底层的大语言模型。它依然容易受到对抗性提示、越狱攻击以及幻觉问题的影响。
越狱攻击的目标很直接,就是绕过模型原本设定好的安全边界,让模型输出原本不该出现的内容。更现实的问题是,很多开放权重模型的安全防护本身就不牢固。通过微调、激活工程或者精心设计的提示,就可以把模型的潜在能力直接暴露出来,看似安全的外壳很容易被绕过,安全能力和真实能力之间的差距也在不断拉大。

智能体组件,把攻击面拉得更大了
当模型被包装成智能体之后,问题就不只停留在生成文本上了。记忆、规划、工具调用这些组件,都会成为新的风险入口。
一旦记忆被恶意注入或篡改,智能体之后的行为就可能持续跑偏,甚至在不知不觉中泄露敏感信息。这种问题最麻烦的地方在于,它不是一次性的,而是会长期影响后续决策。
规划本身就意味着在开放环境中做取舍,如果规划逻辑不稳,很容易生成脆弱甚至危险的行动路径,或者为了追求某个局部目标而偏离系统整体目标。
一旦智能体可以调用外部工具,执行路径就从语言层面延伸到了真实系统层面。如果接口设计不严,很容易被利用来触发网络攻击、社会工程行为,甚至通过不安全插件实现未授权访问。

在多智能体系统中,风险不是孤立存在的。一次成功的越狱,或者一次记忆污染,都会直接影响后续的规划和工具使用。而这些被污染的行为,又会通过智能体之间的通信不断扩散。
最终的结果是,原本发生在某个组件上的小问题,很快就演变成整个系统层面的失控。
多智能体系统里,最棘手的安全问题,往往不是某一个智能体明显出错,而是它们在持续互动中,慢慢把系统带到了错误的方向。
这种情况在单模型场景里几乎见不到。系统看起来一切正常,输出也很通顺,但整体行为已经悄悄偏离了最初的目标。这是一种非常典型的软失败。
所谓的恶意串通,并不一定是直观意义上的违规行为。更多时候,是多个智能体在局部目标上形成默契,彼此配合,却在不知不觉中损害了系统整体的目标、公平性或者安全约束。
现在的研究已经不再只关心有没有外部攻击者混进系统,而是开始认真分析系统内部是如何自己走向危险的。在一些社会或经济模拟中就发现,智能体之间的协作,会显著放大欺诈等高风险行为,让单个智能体原本做不到的事情变得可行。
这类系统级失败之所以危险,核心原因在于它很难被现有的监控方式捕捉到。单看某一个智能体的输出,往往都很合理,也很专业。但当这些输出被串联起来,整体决策方向已经明显跑偏。
目前来看,这种集体跑偏大致有三种常见形式。
第一种情况:目标被悄悄换掉了
有些智能体会通过细微的上下文调整,把一个原本不重要的次要目标,包装成当前最值得关注的事情。后续智能体在没有意识到问题的情况下,接受了这个新目标,并围绕它继续推进。
结果就是,系统逻辑很顺,流程也很完整,但大家其实已经在认真完成一件本来不该做的事。
第二种情况:所有人都卡在一个看似安全的烂方案上
另一种常见现象,是某个智能体提出了一个表面上很稳妥的方案,比如过度保守、层层防错、堆叠冗余逻辑,或者选择明显不优但看起来很安全的技术路线。
这种方案很难被直接否定,于是其他智能体不断在这个次优方案上加固,结果系统投入越来越多,却始终达不到理想效果。
第三种情况:假信息变成了内部共识
更隐蔽的情况,是有智能体引入了未经验证的信息,并把它描述成通行做法或行业常识。比如推荐一个并不存在,但名字和描述都非常可信的工具或库。
如果系统缺乏独立验证机制,这类信息就可能迅速被接受,形成错误共识。等到系统真正运行、出现奇怪问题时,才发现根源已经很难追溯。
正是因为这些问题并不是单点故障,而是在协作过程中自然浮现的,研究者开始提出多智能体安全这一新的视角。
这个思路不再只关注已经出现过的错误,而是尝试提前思考,在这样的交互结构下,最糟糕的情况可能是什么。它从系统结构和交互规则出发,去预测哪些新型风险会自然出现,并尽量在它们真正造成影响之前进行限制或缓解。
最终的目标,也不只是保护某一个模型,而是为由多个模型、人类用户和现实机构共同组成的复杂 AI 生态,提供更稳固、更长期的安全保障。
多智能体系统到底哪里容易翻车
如果要认真评估一个多智能体系统的安全性,光靠几组静态测试远远不够。真正的问题,往往藏在系统架构本身,以及智能体在运行过程中的互动方式里。要把这些问题看清楚,就需要一套能跑起来、能对抗、能复现实战场景的评估方法。
在多智能体系统中,安全弹性和系统的整体结构关系非常大。不同的架构,面对同样的攻击,结果可能完全不一样。

先看信息共享方式。
如果所有智能体都共享一个开放的信息池,那么系统对信息污染几乎没有抵抗力。一旦有一个恶意智能体往共享空间里塞入错误信息,其他智能体很快就会在不知情的情况下基于这些内容做决策,攻击效果会被迅速放大。
相比之下,更去中心化的结构要稳健得多。每个智能体有自己的信息来源,彼此之间相对隔离,这种设计天然就限制了恶意信息传播的速度和范围。即使某个节点出问题,也不太容易拖垮整个系统。
在这个思路上,一些研究干脆把隔离做到更极端。通过完全分离不同模型的执行环境,并严格限制智能体之间的通信权限,可以有效避免权限升级和跨环境扩散。这类设计的核心思想很简单,就是控制信息流,减少不必要的信任。

传统的大模型安全评估,大多集中在单模型层面。测试的内容也比较固定,比如有没有输出有害内容,是否容易被越狱,是否存在明显偏见。
这些测试在单模型时代很有价值,但放到多智能体系统里就明显不够用了。它们几乎无法覆盖智能体之间的互动,也看不到恶意串通、目标漂移这类系统级问题。
因此,评估方式本身也需要升级。比起一次性打分,更重要的是端到端的动态攻防过程。有些工作已经开始这么做了,比如在高敏感领域中,通过构造大量真实可用的对抗性任务,把带有暗人格的智能体放进不同架构里运行,观察系统是如何一步步被污染、被带偏的。
这种评估方式的价值在于,它不是假设攻击怎么发生,而是让攻击真实发生,然后分析系统是在哪个环节开始失控的。这也更接近现实世界的风险形态。
如果把多智能体系统的风险拆开来看,大致可以分成几个层次。

最底层的问题,来自模型本身。比如通过对抗性提示或微调绕过安全限制,导致模型能力被直接释放,拒绝机制形同虚设。
再往上一层,是智能体组件的问题。长期记忆被污染之后,智能体的行为会持续跑偏。规划模块如果不稳,很容易生成危险或错误的行动路径,甚至追逐完全不该追的目标。
到了系统交互层面,问题会变得更加隐蔽。多个智能体可能在不显山露水的情况下形成协作,损害系统整体目标,比如放大金融欺诈风险,或者让集体决策逐步偏离原本的设计初衷。还有一种情况,是虚假信息被当成事实在系统内部传播,最终导致运行时出现难以解释的失败。
最后是外部环境带来的风险。一旦智能体可以调用工具或插件,执行路径就会越过语言边界。如果接口不安全,就可能引入未授权操作、数据泄露,甚至直接造成服务不可用。
这些层次并不是彼此独立的,而是会相互影响,层层放大。
在涉及安全和边界问题时,只给一个风险分数,意义其实很有限。更重要的是,系统是如何一步步走到这个结果的。
因此,有研究开始把评估过程直接嵌入到推理流程中。一个比较直观的做法,就是引入多智能体辩论机制。

在这种设置下,会有专门负责质疑的智能体,也有为方案辩护的智能体,最后再由一个相对中立的角色来综合双方的观点。整个过程会围绕具体的安全问题展开,多轮讨论之后,再给出结论。
这种方式的价值在于,评估结果不再是一个黑箱分数,而是附带了清晰的理由和推理路径。对于复杂的系统级决策来说,这种可解释性非常关键。
从静态测试,走向动态行为分析,再到把评估机制直接放进系统内部,这是多智能体安全研究中一个非常重要的转变。它让我们不再只是问系统安不安全,而是开始真正理解系统为什么会变得不安全。
想要守住多智能体系统的安全大门,单靠某一项技术肯定不够,必须得从头到脚全方位武装。这就像盖房子,既要地基稳固,又要墙体结实,还得装上实时监控,从底层的模型校准到智能体的抗压能力,再到系统运行时的干预,每一层都不能掉以轻心。

以前大家习惯用人工反馈来教AI说话,但这事儿不仅费钱费力,还容易出岔子。人很难把复杂的安全准则讲得清清楚楚,结果往往是AI变得唯唯诺诺,甚至说话带刺。
为了解决这个麻烦,现在流行一种叫规则驱动奖励的新玩法。简单来说,就是给AI一套清晰的加分和扣分标准,让它自己去领悟哪些话能说,哪些事不能做。这种方式只需要极少的人工数据,就能让AI在保持聪明伶俐的同时,精准地避开那些不该碰的红线。而且这套规则非常灵活,随着应用场景的变化,随时都能低成本更新。
很多人为了让AI在医疗或者法律等专业领域更厉害,会专门给它开小灶做微调。虽然专业能力确实提升了,但这种定制化过程其实是有代价的。
研究发现,哪怕是用看起来很正经的数据去训练,也可能在无意中削弱AI原本的安全防线。这就好比一个原本懂礼貌的学生,在钻研某些高深课题时,反而把基本的规矩给忘了,变得容易被坏人带节奏。所以,在追求专业化的过程中,如何不让AI的安全感退化,是现在大家最头疼也最需要平衡的难题。
就算底层的模型已经调教得很听话了,当一堆AI凑在一起干活时,面对复杂多变的环境还是会犯迷糊。这时候,搞清楚AI到底有多大把握就显得特别重要。
为了让AI的决策更靠谱,现在流行给它们装上不确定性管理系统。有的方法是通过探测AI的知识盲区来评估它的信心,有的则是通过调整注意力来观察它的反应。不过这事儿也有风险,如果衡量不确定性的标准本身就不够扎实,反而会给系统带来意想不到的副作用,让原本稳定的系统变得更不可控。
大家都知道查资料能减少AI胡说八道的情况,但如果查到的资料本身就有毒怎么办。如果检索到的信息是错的,或者干脆是别人故意投喂的陷阱,AI很容易就会被带偏。

为了应对这种挑战,研究人员想出了一个叫作对抗性微调的招数。这就像是给AI做特训,让它在面对假消息或者恶意诱导时,能更聪明地筛选信息。经过这种训练的AI在面对越狱攻击或者知识操纵时,表现得更加稳健,能够根据实时情况动态调整自己的回答,不再轻易上当受骗。
坏人搞破坏往往是突发性的,如果等事情发生后再去翻日志,黄花菜都凉了。所以我们需要一套能实时盯着的防御架构,在威胁刚露头的时候就把它掐灭。
这里有两个关键角色。首先是负责巡逻的哨兵代理,它们分布在各个角落,时刻盯着AI之间的聊天和动作,看看有没有什么反常的语义或者行为。然后是负责指挥的协调员代理,它就像是一个高级管理中心,一旦收到哨兵发出的警报,就会立刻出手,把表现异常的AI关进小黑屋或者直接暂停它的权限,从而保住整个系统的安全。
还有一种专门盯着电脑操作的哨兵,它会全程跟踪AI调用工具的过程。只要发现AI想动一些敏感的操作,它就会立刻按下暂停键,把决定权交给人工审核员来裁决。

在一些特别关键的任务里,光靠AI自己当裁判是不够的,因为AI的判断有时也挺主观。这时候就需要引入一位铁面无私的调解员。
这位调解员手里拿着一套死规矩,它不靠感觉,而是用数学和逻辑的方式去验证每一个结果。它会严格执行各种安全规范,通过量化的指标来确保每一步都走在正轨上。更厉害的是,如果发现大家意见不统一或者偏离了航向,它还能启动恢复程序,强行把系统拉回到安全状态,确保在复杂环境下也不会掉链子。
想要让多智能体系统安全可靠,就得在各个环节都布下防线。从提升单个AI的判断力,到建立全局的实时监控网,再到最后的硬规则约束,每一层都至关重要。
多智能体系统的安全防御攻略
在多智能体系统里,单靠一个安全策略是不够的。真正可靠的防护需要多层次、多角度的组合策略,从基础模型的安全对齐,到智能体的决策鲁棒性,再到系统级的实时监控和干预,缺一不可。

模型级
先把底层模型弄稳是第一步。如果模型本身行为不可靠,上层防御都是空中楼阁。
规则驱动奖励的尝试
传统的强化学习自人类反馈方法在成本和精度上都有局限。为了解决这个问题,研究者提出了规则驱动奖励方法。核心思想是用一套可组合的规则直接作为训练信号,让模型在少量人工数据下,就能精准对齐安全行为。这种方法不仅控制精度高,还能随场景和模型能力调整,更灵活也更省成本。
微调的利与弊
微调可以让模型在特定领域表现更好,比如医疗分析或者专业数据处理。但它也有副作用:即便用的是良性数据,也可能削弱基础的安全保障,让模型更容易出现有害响应。在实际操作中,领域优化和基础安全之间必须找到平衡。
智能体级:让每个个体决策更可靠
即便模型基础对齐了,智能体在动态环境中依然可能出错。这里的关键是处理不确定性和合理利用外部信息。
不确定性管理
通过对预测结果的不确定性进行量化,智能体可以更稳健地做决策。一些方法会在多轮推理中整合置信度指标,及时发现可能出错的情况。但需要注意的是,如果量化方法本身没有理论支撑,也可能引入新的副作用。
检索增强与对抗鲁棒性
使用外部知识库帮助模型减少幻觉问题是一种有效手段。但检索本身也可能失败,带来风险。于是出现了检索增强的对抗性微调技术,这种方法让模型能够实时整合检索信息,在对抗环境下保持鲁棒性。实验证明,这在应对越狱攻击或知识操控时效果明显。

系统级:实时监控与干预不可少
多智能体系统里,恶意串通和信息污染可能随时发生。单靠事后日志分析肯定不够,需要实时防御框架。
哨兵和协调者代理
系统中可以设置分布式哨兵代理,它们持续监控智能体行为、通信和知识流。发现异常时,协调者代理会根据哨兵报告动态调整策略,隔离或暂停异常智能体,从而遏制威胁,保证系统整体安全。
Moderator 代理与形式化策略
在关键任务中,仅靠经验规则不足以保证安全,需要可验证的策略。Moderator 代理结合符号规则和形式化验证方法,确保智能体遵守操作规范,并能在发现偏差时动态恢复共识,从而维持系统韧性。

为了应对不同类型的风险,需要在不同层次上部署对应的技术:
- 模型级对齐:精准控制基础行为,规则驱动奖励方法让安全规范更可控。
- 智能体级鲁棒性:通过检索增强和不确定性管理,提高单个智能体的决策可靠性。
- 系统级干预:实时监控通信异常,隔离或暂停异常智能体,确保整体生态安全。
- 策略强制与可解释保障:结合形式化验证和符号规则,为复杂系统提供可证明的安全共识。
- 针对性修复:识别和修复被污染的智能体,恢复系统的安全基线。
通过多层次、纵深集成的防御策略,多智能体系统才能在复杂环境下保持稳健和安全。
总结
多智能体系统带来了效率和灵活性,但也把安全挑战放大到了新高度。从底层模型漏洞、智能体记忆污染,到系统交互中的恶意串通和虚假信息,安全威胁呈现多层级、多样化的特征。
研究范式也在改变:从单个模型的安全对齐,转向系统级的共识和集体决策。评估方式不再只是静态测试,而是动态攻防,甚至引入多智能体辩论机制,让决策过程透明可追踪。
防御手段也在升级,从规则驱动奖励(RBR)校准模型,到增强智能体检索鲁棒性的 RAFT,再到 Sentinel 和 Coordinator 等实时监控架构,实现纵深防御。
但当前最大挑战仍然是能力提升与安全保障之间的鸿沟,以及缺乏形式化理论支撑的安全机制。未来的研究需要关注预测性安全、形式化方法的实时应用,以及能够应对微妙系统级偏差和恶意串通的策略,才能让多智能体系统在高风险环境下真正可靠、安全并可问责。
参考:
1.https://arxiv.org/pdf/2306.03314
2.https://arxiv.org/pdf/2402.03578
3.https://arxiv.org/pdf/2508.05687
4.https://arxiv.org/pdf/2505.20824
5.https://arxiv.org/pdf/2511.01912
6.https://arxiv.org/pdf/2410.15686
7.https://arxiv.org/pdf/2506.14697
8.https://arxiv.org/abs/2503.02390
9.https://arxiv.org/abs/2412.04415
10.https://www.preprints.org/frontend/manuscript/12d92f418fc17b4bd3e6b6144acf951c/download_pub
11.https://arxiv.org/pdf/2403.04783
12.https://arxiv.org/pdf/2412.14470
13.https://arxiv.org/abs/2504.19678
14.https://arxiv.org/pdf/2506.00641
15.https://arxiv.org/pdf/2504.16129
16.https://ai-plans.com/file_storage/4f32fa39-3a01-46c7-878e-c92b7aa7165f_2212.08073v1.pdf
17.https://arxiv.org/pdf/2406.06622
LLM-MAS安全风险呈多层级放大,需从模型对齐、智能体鲁棒性到系统级实时干预构建纵深防御。
由 AI 根据全文自动生成,仅供参考,以原文为准