安全工作有两种完全不同的时间。

防守者面对的是钟表。告警已经发生,影响可能仍在扩大,每一分钟都意味着更多等待确认的事实、更多尚未隔离的风险。进攻者面对的更像一片没有路标的荒野:入口藏在哪里,眼前的异常是裂缝还是噪声,下一步该向外铺开还是向内深挖,没有人能提前画好地图。

我先走的是前一种时间。

我开发并落地了防守侧的 AI 原生安全运营中心 SFlow。在我参与的企业内部落地场景中,它把告警平均响应与处置时间(MTTR)从 48 分钟压到 6 分钟。这不是模型把一段分析文字写快了 42 分钟,而是告警接入、字段整理、上下文补全、专项研判、处置决策与执行记录之间的大量人工等待被压缩了——原本散落在人、平台和脚本之间的接力,被组织进一条能够持续运行的链路。它让我看到,AI for Security 真正进入生产,不在于回答得更像专家,而在于让流程少等待、少丢失、少重复,并在必须由人决定的地方准确停下来。

也正因为在防守端落地过,我才越来越清楚:攻击端不能照搬同一种架构。防守追赶时间,渗透追逐未知;前者需要把秩序建立起来,后者要在秩序没有覆盖的地方继续前进。

最近 40 天,我几乎把全部精力转向了这片理念相反的区域。我从手写最小 Agent 循环、做出第一代 RX_Legacy 开始,依次试过 Codex CLI、RX_Python 的 PydanticAI + Temporal、刚发布不久的 DeepSeek Harness,最后落在 pi 上,形成今天的 RiftX。仅主力模型 GPT-5.6-sol,这 40 天就消耗了 16,063,087,918 个 Token,约 160.63 亿。

烧掉 160 亿 Token,不等于换来 160 亿 Token 的进步。它更像这段路留下的脚印:密集的设计、实现、测试、推翻和重来;让 Agent 真正跑长任务,观察它在哪里失忆;让它并行派出子 Agent,观察结果什么时候回不来;让浏览器、Shell、Skills 和 MCP 同时工作,观察状态在哪里互相污染;把一套看起来严谨的架构做得越来越完整,再承认它可能正在限制模型。

对我来说,这不是一次从零学习 Agent 的过程,而是一次有意为之的"换边思考"。我带着防守端被实战验证过的经验进入攻击端,又必须不断提醒自己:不要因为熟悉状态图、固定 Workflow 和运营闭环,就把同样的答案强加给渗透测试。人最难放下的,往往不是错误的方法,而是曾经奏效的方法。

两点说明:SFlow 已转入企业内部落地,开源版本不再更新,本文对 SFlow 的讨论只基于当前公开版本的架构与设计;文末 RiftX 的两次 Benchmark 均为本地运行,得分仅供参考。

走到今天,我得到的答案不是"哪个 Agent 框架最好",而是一个更接近安全工作本身的判断:

安全任务本身的不确定性,决定了 Agent 应该被怎样编排。

防守端的大部分工作稳定、重复、可审计,只有复杂调查与溯源需要明显发散;渗透测试从第一步就在面对未知,发散不是例外,而是工作的主体。两者可以共享模型、工具协议、权限、审计和上下文基础设施,却不该被迫使用同一种思维结构。

所以写下这篇文章。它首先是一份技术历程记录——我怎样相信一种架构,又怎样亲手否定它。下文先完整记录五段技术路线,再分别展开 RiftX 与 SFlow 的实现,最后是 Benchmark 结果与这段路沉淀下来的判断。

一、五段技术路线:从手写循环到 RiftX

如果只看最后留下来的公开仓库,攻击侧可以概括成 RX_Legacy、RX_Python 与 RiftX 三代实现;如果看完整试错过程,中间还有 Codex CLI 和 DeepSeek Harness 两次关键实验。真正变化的不是依赖包名称,而是我对 Runtime 职责边界的理解。

阶段

方案

当时最想解决的问题

最终得到的认识

1

手写循环原型 → RX_Legacy(OpenAI Agents SDK + Temporal)

找不到适合渗透任务的现成基座,只能先验证核心循环

Agent 能力高度依赖运行环境,Runtime 远不止一个循环

2

Codex CLI

验证成熟 Coding Agent 能否直接承担渗透任务

原生 Agent 能力值得信任,但它与 OpenAI 生态绑定太深,不符合我的长期二开边界

3

RX_Python(PydanticAI + Temporal)

持久化、恢复、审批、审计与企业级治理

运行可靠性和推理有效性是两件不同的事

4

DeepSeek Harness

评估新一代开放 Harness 能否减少自研成本

方向有吸引力,但当时刚发布且不稳定,不适合作为产品基座

5

pi + RiftX 应用层

把探索权还给模型,同时保留渗透所需环境与边界

不要重复造轮子,也不要把框架能力误当成产品能力

阶段一:先手写循环,再做出 RX_Legacy

最早动手时,我并不是单纯想"造框架"。当时看过的 Agent Runtime 都不太像渗透测试的基座:有的围绕代码仓库设计,有的强调固定 Workflow,有的工具模型太弱,有的把大量能力锁在自己平台里。而渗透测试要同时处理浏览器状态、终端工具、网络请求、凭据与身份、长上下文、失败路线和临时线索,我找不到一个能直接验证这些想法的现成基座。

于是我从最简单的循环写起:模型读取任务,决定是否调用工具,Runtime 执行工具,把结果交回模型,模型继续判断,直到形成结论。这个原型没有开源,它只验证一件很直接的事:当前模型是否已经具备完成安全测试的原生推理能力?

答案是肯定的。只要给出适当的工具描述和目标信息,模型能自己列出假设、选择验证手段、根据失败结果换路线,也能把多个零散现象组合成新的攻击面判断。多数时候,它并不需要一张预定义的攻击流程图告诉它"下一步应该扫描什么"。

但把 Agent 从一次 Demo 变成真正能工作的系统,中间隔着一整个 Runtime。三件事给我的印象最深。

工具不是接上函数就结束了。 安全工具的返回往往又长又脏:命令持续输出,网页带着大量 DOM,HTTP 响应夹杂二进制,一个失败结果可能包含比成功结果更重要的线索。Runtime 要决定哪些信息原样交给模型、哪些需要裁剪、错误怎样表达、工具调用能否取消,以及模型能不能区分"没有发现"和"执行失败"。这些语义不清楚,模型就会在错误的事实上继续推理——它看起来仍在自主工作,实际上已经被失真的反馈带偏。

长任务会暴露短对话里看不到的问题。 几分钟的演示遇不到上下文上限、服务重启、浏览器状态丢失、工具僵死或审批超时;渗透任务真正跑起来以后,这些都会发生。Agent 可能已经掌握了关键前提,却在上下文压缩后忘记;也可能知道下一步怎么做,但承载它的进程先退出了。

安全 Agent 的工具天然带副作用。 读一个页面和提交一个表单不是同一种操作,查看文件和执行 Shell 也不是同一种操作。Agent 必须理解授权范围,Runtime 还必须在模型判断之外保留真正的执行边界——否则"模型知道不能做"会被错误配置、提示词漂移或一次异常工具调用轻易击穿。

原型确认方向之后,我把它扩展成第一代完整系统,也就是公开的 RX_Legacy:OpenAI Agents SDK 承载模型与工具,Temporal 承载执行,外面是 FastAPI 与 WebUI,再逐步加上 Scope、审批、证据和报告。需要说明,仓库里能看到的是引入 SDK 之后的版本,最早那段手写循环只是我的个人验证原型。这一阶段最重要的收获可以浓缩成一句话:

模型负责智能,Runtime 负责让智能稳定、准确而受控地作用于现实世界。

但写着写着,另一个问题浮出来:为了验证渗透 Agent,我花在通用 Agent 能力上的时间越来越多。模型适配、消息循环、工具协议、终端交互、上下文管理,这些都不是渗透测试独有的问题。如果成熟 Harness 已经解决了其中大部分,我是否真的应该继续造轮子?

阶段二:Codex CLI,能力够好,但生态边界不属于我

评估"直接复用成熟 Coding Agent"时,自然的候选是 Codex CLI 和 Claude Code。我先试 Codex CLI,因为它是开源的;Claude Code 并不开源,我不愿把产品建在一个无法合法审阅、无法稳定二开、也无法控制演进方向的闭源 Harness 上——对网上流传的泄露版本,也不在我的考虑之中。

Codex CLI 让我直观看到一个成熟 Coding Agent 的水准:高质量的工具调用、长任务推进、代码与终端协作、权限确认和上下文处理,很多我准备继续自己实现的通用能力,早已被更专业的团队反复打磨。它也再次验证了我的核心判断:强模型并不需要我们替它预先画完推理图。给它清晰目标、可靠工具和持续反馈,它可以自己规划、执行、检查并修正。

我最终没有基于它二开,主要原因不是能力不足,而是它与 OpenAI 的产品和模型生态绑定得太紧。我希望用户自由选择 OpenAI、Anthropic、Google 与兼容端点,主 Agent、子 Agent 和不同任务可以使用不同模型;底座若围绕单一厂商演进,产品边界就不在我手里。另外,Codex CLI 的默认世界仍然是代码与本机工程,而渗透测试需要面向真实 Web 应用的浏览器语义、多身份、授权范围、网络证据、攻击面爬取和 Finding 沉淀。它证明"不要低估原生 Agent 能力"是对的,却不是我愿意长期绑定的基座。

于是我走向另一端:既然需要企业级长任务与严格治理,能否在通用 Agent 之上建一套足够完整的持久系统?

阶段三:RX_Python,把治理做到极限

RX_Python 是一次更有野心的尝试,也是把 RX_Legacy 的治理路线推到极端的一次尝试。模型层从 OpenAI Agents SDK 换成 PydanticAI,让模型输入、工具参数和结构化输出都形成明确契约;Temporal 从执行承载扩展成整个系统的心脏;外面是 FastAPI 与前端,内部逐步建起任务契约、Workflow、Activity、Worker、数据库状态、审批、作用域治理、浏览器与 Shell Runtime、上下文构建、证据记录、失败重试、取消恢复和多 Agent 调度。

它想回答的不再是"Agent 能不能完成一次任务",而是更接近企业真正会问的问题:

  • 服务重启后,运行中的任务还能不能继续?
  • 一项人工审批几个小时后才返回,Agent 能否从准确位置恢复?
  • 工具调用在超时前是否已经产生副作用,系统能否避免重复执行?
  • 谁创建了任务、谁批准了动作、工具实际做了什么,能否完整审计?
  • 浏览器、Shell、网络和证据状态能否属于同一个任务,而不是散落在不同进程里?
  • 多个 Worker 失败、重试或被取消时,父任务能否得到确定结果?PydanticAI 与 Temporal 对这些问题提供了很好的基础。Workflow 可以等待 Signal,Activity 可以重试,任务可以保存 Checkpoint,也可以在历史增长后 Continue-As-New。在这个阶段,我沉淀了很多后来仍留在 RiftX 里的原则。副作用不明时不能盲目重试。一次请求超时,不代表目标没有收到请求;一个浏览器动作返回失败,也不代表页面状态没有改变。安全 Runtime 必须区分"明确失败"和"结果不确定"。审批是一种运行状态,不是一个弹窗。如果 Agent 在等待审批时服务重启,恢复后仍然必须知道它在等什么、原始参数是什么、批准是否只对这一次调用有效。最终报告不是运行日志的拼接。发现需要资产、影响、置信度、复现方式与原始证据,后续验证应当补充同一发现,而不是制造几十条近似结论。任务"还在运行"不代表它仍然有效。系统需要区分排队、执行、等待审批、取消、失败、完成和资源耗尽,也需要证明停止动作确实终止了底层工具与浏览器资源。这些都是真正的企业级问题。但随着系统继续演进,我也看到了另一面。

当治理结构开始进入模型的思考路径

为了追求可靠,我不断加入阶段、状态、契约、能力快照、正式工具清单、证据关系、确定性调度波次和上下文清单。每一项单独看都正确;组合以后,Agent 却越来越像一个被要求逐项填写大型表格的操作员。

渗透测试的关键转折经常无法提前命名。模型可能因为一个响应头改变方向,也可能从前端脚本里的一个字符串推断出隐藏接口。如果系统要求新的观察必须先进入既定事实模型、再进入证据关系、再满足某个阶段转换,它不会让模型更聪明,只会让模型更难追随刚刚出现的线索。

这时我终于把两个长期混在一起的问题分开了:Durable Execution 解决的是任务怎样不丢;Agent Runtime 还要解决模型怎样不被系统妨碍。 Temporal 可以保证一个步骤被可靠执行,却不能判断这个步骤是否值得执行。证据图可以准确保存已知关系,却不能替模型发现尚未进入图中的未知攻击面。确定性工作流可以重放一条路线,但渗透测试最有价值的结果,往往来自主动离开原路线。

所以 RX_Python 不是一次失败的尝试。恰恰相反,它让我完整经历了企业级可靠性问题,也亲手碰到了过度工程化的边界。后来 RiftX 的会话恢复、审批、资源关闭、证据和状态设计,都能看到这一阶段的影子。我不再追求"删除所有复杂度",而是决定重新安排复杂度的位置。

阶段四:DeepSeek Harness,值得关注,但当时不能托付产品

放下重控制路线后,我也评估了刚发布不久的 DeepSeek Harness。它的方向很有吸引力:如果开放 Harness 能提供成熟的 Agent Loop、工具和上下文基础,就有机会省下我继续维护通用 Runtime 的成本。

但选型不能只看理念是否先进,还要看它能否承载真实产品。它当时刚出现,官方明确将其标记为快速迭代、可能产生兼容性破坏的 Developer Preview;在长任务、工具生命周期以及我最看重的浏览器渗透场景里,还不足以放心地向上构建。我因此放弃了这条线。这不是对它长期价值的否定,而是一个明确的工程判断:RiftX 需要现在就能稳定工作,而不是等待底座在未来成熟。

阶段五:pi 与 RiftX,停止重复造轮子

最终选择 pi,不是因为它替我解决了所有渗透问题,而是它在我真正需要的边界上提供了一个合适的起点:成熟的 Agent Session、模型与工具抽象、上下文管理和可扩展接口,同时没有强迫我使用一张固定任务图。

这一步也意味着我终于接受:这个项目不需要再证明自己能从零实现一个通用 Agent Runtime。重复造轮子并不会自动形成竞争力,真正值得投入的,是通用 Harness 没有、而渗透测试真正需要的那一层环境。

从 RX_Python 到 RiftX,不是给系统换一个 Agent SDK,而是重新定义系统和模型的分工。今天的 RiftX 用 pi 做核心 Agent Runtime:模型负责理解任务、提出假设、选择工具、安排子任务、改变路线和收敛结论;RiftX 不再用一张复杂总图规定"侦察之后必须进入哪个阶段",而是在应用层把会话、工具、浏览器、并发、审批、上下文、证据和恢复做好。复杂度并没有消失,它从"替模型规划每一步"迁移到了"保证模型的每一步都能可靠发生"。

这是五段探索里最关键的变化,也是我现在最认可的渗透 Agent 路线。

二、攻防两端为什么走向不同的架构

带着落地过的 SFlow,再做完三代渗透 Agent 和两次中间实验,我越来越确定:"安全 Agent"其实包含两种任务熵完全不同的系统。

维度

防守与安全运营

渗透测试与攻击面探索

输入

持续到来的告警、资产与人工指令

一个授权目标与不完整的初始信息

任务分布

大量重复任务,少量复杂异常

大部分步骤都包含未知与试探

主干流程

可以标准化并长期运营

随目标反馈不断改变

发散位置

复杂研判、攻击链还原、溯源

贯穿侦察、验证与深入全过程

失败处理

重试、补偿、转人工、保留审计

换假设、换入口、改变粒度

更适合的控制结构

外层显式状态图,局部开放推理

上层开放式 Agent,底层提供硬边界

防守每天处理的事情大多可以写出稳定主干:接入告警、解析字段、补充情报、关联上下文、判断风险、等待审批、执行处置、验证结果、关闭事件。真正需要高度发散的,通常是复杂事件调查和溯源。渗透测试则从第一步就在回答未知问题:攻击面是否完整?当前异常是不是入口?一个权限差异能否扩大?该继续横向枚举,还是围绕一个细节深入验证?这里的失败不一定进入预设的"失败节点",它可能只是告诉 Agent:该换一种理解目标的方式了。

所以我的选择不是 LangGraph 和 pi 谁更高级,而是谁更符合任务结构:防守端,外层流程稳定,局部推理开放;进攻端,上层探索开放,底层执行受控。 RiftX 和 SFlow 分别是这两句话的实现,下面两节分开讲。

三、RiftX:给渗透 Agent 造一个"舒服"的世界

我对 RiftX 的核心理念可以概括成一句话:

为 AI 搭一个让它运行起来最"舒服"的环境,然后相信当前模型的原生能力。

"舒服"不是没有限制,更不是把宿主机和目标毫无保留地交给模型。它指的是:模型需要的信息能够及时得到,工具反馈足够清晰,长任务不因工程问题失忆,独立工作可以并行,危险行为有真实边界,结论能被人复核。

1. 本机工作台是 Runtime 的一部分,不是 UI 包装

RiftX 是本机单进程 Web 应用:Next.js Route Handler 连接 Agent Runtime,React 工作台通过 SSE 接收流式事件,配置、会话、任务和证据保存在本机 JSON/JSONL 中,不要求数据库或云账户。这个形态比 RX_Python 的 Temporal、Worker 与数据库体系简单,但它服务于一个明确场景:单个安全人员在已授权的环境中持续工作。用户可以同时看到模型回复、Thinking、工具调用、审批请求、上下文用量、子 Agent 状态和结构化发现——界面不是独立的展示层,而是人工操作者进入 Agent 执行回路的控制面。

会话可以断线重连、切换模型,各自保存未发送的草稿;运行中的会话拥有独立状态,最近继续执行的会话自动置顶。停止、归档、删除和切换工作目录走统一的清理路径,负责终止 Agent、Bash、BrowserContext 与外部 MCP 连接。这些细节不会直接提高某道题的推理能力,却决定了 Agent 能否成为一个每天可用的工具。

2. 多 Agent 的目的不是"看起来像一个团队"

主 Agent 可以通过 spawn_subagent 把独立的侦察、代码分析或验证任务交给后台子 Agent,然后继续自己的主线,不必停下等待。每个子 Agent 都有独立会话、审批门和 BrowserContext,但共享父会话的工作目录与授权边界。最大并发数是 1–8,超出的任务进入队列;子 Agent 不能继续递归创建下一层,避免任务树无限扩张。它们可以沿用主 Agent 的模型,也可以使用独立模型配置。

我刻意把"并发上限"和"应该派出的任务数"分开:并发数只是资源约束,不是 KPI。系统提示会告诉模型,只有当委派能明显提升效率、覆盖面或证据质量时才创建子 Agent,不要为了填满槽位而拆分工作。

更重要的是结果怎样返回。子 Agent 完成后,有效摘要会立即进入仍在运行的主 Agent 上下文,主 Agent 可以当场吸收结果并改变策略,而不是等所有任务一起结束;只有当主 Agent 准备形成最终结论时,Runtime 才确保全部必需子任务进入终态,再要求统一综合。空结果、失败、取消和中断不会伪装成正常证据。这是一种以模型为中心的并发:Runtime 管生命周期、队列、结果交付和失败语义,模型决定拆什么、何时吸收、怎样继续。

3. 一套为渗透任务设计的 Browser Tool

在我看过和实际用过的 Agent 浏览器方案里,RiftX 的 Browser Tool 是我认为最契合渗透测试任务的一个。差异不在于"能自动点击网页",而在于它把一个真实 Web 应用转换成了模型可以持续调查的安全测试环境。

真实 Web 漏洞很少只存在于一段静态 HTML 中:登录态、前端路由、动态表单、JavaScript 运行状态、Cookie、Storage、控制台错误、弹窗以及浏览器发起的请求,往往共同构成漏洞发生的条件。普通 Browser Agent 主要解决"怎样完成页面操作",RiftX 更关心"怎样让模型看见漏洞发生时的完整现场"。

文本优先,让非多模态模型也能操作真实网页。 每次 navigate 或 snapshot 都会把当前 URL、标题、可见文本、表单结构与交互元素转换成紧凑文本,按钮、链接、输入框、单选框和下拉框获得 e1、e2 这样的稳定引用,模型随后通过引用执行 click、fill、press 或 select,不需要自己猜测脆弱的 CSS Selector。这条文本观察路径的意义在于:即使模型不支持图像输入,它仍然可以理解页面文案、表单字段、隐藏前后的状态变化和大部分交互流程。RiftX 没有把"Browser Agent"等同于"多模态截图 Agent",而是先把页面变成结构化、低噪声、可操作的文本环境。

页面行为、网络行为和会话状态可以互相印证。 Agent 不只看到 DOM。console 保留日志、页面异常以及 alert、confirm、prompt 弹窗,DOM XSS 验证中真实捕获的 Dialog 可以直接成为运行时证据;evaluate 允许模型在页面上下文中检查前端逻辑、事件处理、原型污染影响或运行时状态,输出带长度限制,避免一次求值吞掉整个上下文。每个页面请求都会进入 Network Recorder:先用 requests 浏览请求清单,再通过 request_detail 查看方法、URL、Header 等细节,用 response_body 读取具体响应——页面上一个状态变化可以一路追到真正的 HTTP 交互,而不是停在"我点击后好像成功了"。Cookie 可以读取、导出和导入,浏览器会话能与 curl 或其他终端工具双向衔接:在浏览器里完成登录,把身份交给脚本做精细请求验证,或者反过来把脚本获得的 Cookie 导回浏览器继续业务流程。Local Storage 与 Session Storage 也可以直接检查。

一套 Browser Tool 同时覆盖多身份授权测试。 RiftX 为每个 identity 创建独立 BrowserContext:匿名用户、普通用户、管理员或任意自定义角色各有自己的 Cookie Jar 与 Storage,既不互相污染,也能在同一任务中并排比较。这对越权测试非常关键——模型不必反复退出登录、清理 Cookie、重新进入页面,而是让多个身份同时停在相同功能位置,对比页面元素、网络请求与响应差异。子 Agent 也拥有独立 BrowserContext,并行调查不会把主 Agent 的登录态覆盖掉。

验证码测试不必全部依赖模型"看图"。 验证码不是一种单一技术:纯图片字符识别、滑块、点击选图、JavaScript Challenge、短信或邮箱验证码,以及仅由前端控制的校验流程,可测试面完全不同。对支持视觉输入的模型,screenshot 会把当前页面作为真实图像返回,模型可以直接阅读视觉状态,并把截图保留为 Finding 证据;对非多模态模型,仍然可以通过 DOM Snapshot、真实 Playwright 事件、Console、Network、Cookie/Storage 和 evaluate 去理解验证流程:Challenge 在哪里生成,Token 怎样进入请求,校验是否只发生在前端,状态能否重放,服务端是否真正绑定会话与操作。需要诚实说明的是,RiftX 不是宣称"所有验证码都能破解"的 OCR 产品——如果目标是不存在逻辑缺陷的纯视觉识别题,仍然需要图像模型或外部 OCR/MCP;它真正擅长的是把验证码当成认证与业务流程的一部分,寻找安全实现上的薄弱点,而不是只尝试识别图片内容。

攻击面爬取解决"模型根本没看到"的失败。 crawl 工具通过同一受控浏览器进行广度优先映射:收集链接、表单与隐藏字段,从已加载的 JavaScript bundle 中提取 API 路由,并标记认证边界。它只跟随同主机页面,跨主机地址作为线索记录;每次跳转都继续经过 Scope 检查,并受总时间、页面数量和深度预算约束。它不替 Agent 判断漏洞,而是消掉渗透 Agent 最常见、也最隐蔽的一类失败:模型有能力验证问题,却根本没有发现那个端点、隐藏字段或 SPA 路由。

虚拟主机、内网证书与授权范围都属于 Browser Runtime。 真实企业环境经常一个 IP 承载多个虚拟主机、内网 DNS 不可达或 HTTPS 证书自签。set_host_mappings 提供类似 curl --resolve 的能力,连接指定物理地址时保留逻辑 Host Header 与 TLS SNI;User-Agent 和额外 Header 也可以按 identity 覆盖。这些网络能力不会绕过授权边界:Browser Scope 支持主机、端口、协议、泛域名与 CIDR,导航、重定向、子资源、Popup 和 WebSocket 都经过检查,Host Mapping 的逻辑目标与物理目标也分别校验。换句话说,RiftX 不只是把浏览器做强,也把强浏览器的边界做到了真正的网络执行路径上。

4. Shell、搜索、Skills 与 MCP 组成可扩展工具环境

Shell 对渗透测试很重要,但它也是最容易失控的能力。RiftX 为 Bash 设置独立于子 Agent 调度的共享并发限制,并提供默认与最大超时;write、edit 以及会改变状态的浏览器操作通过共享 Mutation Lock 协调,避免主 Agent 和多个子 Agent 同时修改相同状态。

公开网络研究由 web_search 与 web_fetch 承担,可用于查询公开 CVE、产品文档和版本信息。查询离开本机前会筛查疑似凭据,避免把目标环境中的 Secret 当成搜索词发送给第三方服务。

Skills 负责把可复用的方法与领域知识按需注入 Agent。RiftX 从本机 SKILL.md 加载 Skill,可以自动匹配,也可以显式调用;同一 Skill 不会在一个活动会话中反复注入、污染上下文。

MCP 提供外部工具扩展。RiftX 当前刻意只实现 MCP 的 tools 能力,不扩张到 resources、prompts、sampling 或 OAuth;外部 stdio/HTTP Server 的工具以统一命名进入主 Agent 与子 Agent,并继续受同一审批策略约束。连接由进程级 Manager 管理:活跃会话持有引用,最后一个会话释放时才关闭;服务死亡后,下一个新会话重新连接;单个 Server 连接失败不会阻止整场会话启动。这是 RiftX 一贯的取舍:先把对渗透任务真正有价值的能力做窄、做稳,而不是为了协议完整度扩大产品边界。

5. 上下文不是越多越好,而是在正确时刻保留正确内容

长任务里最大的隐形故障之一是上下文退化。工具结果、网页快照和多个子任务很快挤满窗口:只做硬截断,模型会忘记任务目标;全部保留,模型又会被大量历史噪声淹没。

RiftX 实时显示输入、输出、缓存和剩余 Token,在接近窗口限制时压缩上下文。压缩不是另起一个失去现场的新会话,而是尽量让当前 Agent Loop 在工具轮次之间继续运行;完整会话照常落盘,活动上下文保留继续推理所需的目标、结论和近期动作。子 Agent 结果同样要经过语义收敛:有效摘要进入父 Agent,工具日志和任务状态留给 UI 与审计查看。系统区分的是"应该被记住的全部事实"和"模型下一步真正需要看到的内容",两者不必全部塞回模型窗口。

6. 自由探索必须建立在真实执行边界之上

相信模型的原生能力,不等于只靠提示词保证安全。

RiftX 提供请求审批、AI 辅助审批与完全访问三种模式。只读操作直接执行;Bash、文件写入、编辑、改变浏览器状态的动作以及 MCP 工具进入统一权限判断。请求超时、客户端断开或评估器异常时默认拒绝,而不是为了保持任务连续性自动放行。浏览器另有独立的作用域规则,可以限定主机、端口、协议、泛域名或 CIDR——首次目标与后续扩展都不是一个模糊的提示词概念,而是 Runtime 真正检查的执行条件。

模型的自由发生在策略层:观察什么、怎样组合工具、何时并行、什么时候换路线,这些由它决定;它不能自行扩大已经授权的边界。上层开放,底层受控,比在上层规定固定攻击步骤、底层却缺少真正限制更可靠。

7. 证据服务结论,不替模型规定思考格式

主 Agent 和子 Agent 都可以记录结构化 Finding。每条发现包含资产、标题、影响、置信度、复现说明、来源与时间,可以关联消息摘录、工具调用、浏览器请求或截图。相同资产和标题的发现会自动去重,后续验证补充新证据;操作者可以调整置信度、忽略或恢复,但不会删除底层记录。

我依然非常重视证据。区别在于,RiftX 要求"形成安全结论时必须有可复核证据",但不要求 Agent 的每一个探索动作都先进入一张复杂证据图。探索过程允许假设、失败路线和临时判断;结论成立时,再把最小而充分的证据固化下来。证据是验证结果的载体,不是限制发现过程的脚手架。

8. "相信模型"不等于少做工程

RiftX 看起来比一套 Temporal 控制平面更轻,但它不是模型外面包了一层聊天 UI。真正的工程集中在模型不应该亲自处理的地方:连接生命周期、并发、超时、上下文压缩、断线恢复、权限、作用域、浏览器隔离、错误语义、任务交付和证据持久化。

这是我在三代渗透 Agent 中最大的转变:

不要用工程替模型思考,要用工程保证模型能够持续思考。

四、SFlow:让图成为安全运营的控制平面

现在我还想来谈谈之前做的 SFlow。如果 RiftX 的核心是为不确定的探索创造环境,那么 SFlow 的核心就是把大量确定性的安全运营动作组织成可长期运行的闭环。公开版 SFlow 定位为 AI-Native SecOps Control Plane:不是在 SIEM 上加一个问答机器人,而是把告警入口、Agent 编排、Skills、审批、任务队列、运行日志和 WebUI 放进同一套运行体系。

再次说明:停止维护公开版本,不等于公开版本失去使用价值。SFlow 开源的是实际产品路线的完整基座——Supervisor + Worker SubGraph、固定 Workflow、Skill Runtime、告警接入、审批恢复、任务队列、上下文窗口与审计链路都保留在公开版本中;内部落地中 MTTR 从 48 分钟到 6 分钟的降幅,验证的正是这些模块能否作为一个整体运行。如果团队今天需要 AI 安全运营平台,可以优先了解微步在线的 Flocks;如果更看重自主掌控、私有化和二次开发,在我看来 SFlow 仍然是除此之外最值得优先评估的开源基座之一——它不是仍在高速迭代的社区项目,但核心设计没有打折,而且已经通过企业内部实战检验。

在 SFlow 上,我逐渐确认 LangGraph 很适合防守场景:告警处理的大部分主干可以明确表达为状态和分支,模型的发散能力只需要在复杂研判、跨数据源关联和溯源时打开;图负责让组织流程稳定,Agent 负责处理规则覆盖不了的部分。这段经历也给了我一个至今在用的判断标准:一个安全 Agent 是否真正有用,不能只看它会不会分析,还要看它能不能被接入、被约束、被恢复、被审计,并最终对运营结果负责。

1. 从告警进入系统开始,先建立稳定的数据主干

安全运营面对的第一个问题往往不是推理,而是输入不统一:不同 SIEM、EDR、邮件网关或自研平台提供的字段、接口和事件标识完全不同。

SFlow 支持多个命名告警源,每个源可以通过 HTTP API 轮询,也可以运行自定义 Python 脚本读取数据;每个源有自己的解析规则、调度间隔、失败重试策略与自动执行开关。原始 JSON 经过字段映射,被转换为包含告警名称、事件 ID、源/目标地址和时间等信息的统一结构。解析规则可以由模型根据样本辅助生成,保存前仍能预览和校验,模型不可用时也有启发式降级路径。标准化告警写入 SQLite 队列,并按"告警源 + event ID"去重,避免轮询时重复创建相同任务。

这一层尽量不让 Agent 自由发挥,因为接入、去重和排队本身是确定性工程。只有先把输入变成可靠事实,后面的模型研判才有意义。

2. Supervisor + Worker SubGraph:在图里保留必要自由

SFlow 的 Agent 核心建立在 LangGraph StateGraph 与 ToolNode 之上。主 Agent 是 Supervisor,不同专项 Agent 以编译后的 Worker SubGraph 存在,再作为工具绑定给 Supervisor:

  • Supervisor 理解总体任务、选择 Worker、组织顺序或并行关系并综合结果;
  • Worker 在自己的 ReAct SubGraph 中读取任务、调用获准 Skills、观察结果并形成局部结论。Supervisor 可以顺序委派,也可以通过 delegate_parallel 同时启动相互独立的调查。例如一条复杂告警可以并行检查账号活动、终端行为、威胁情报和历史告警,再由 Supervisor 汇总。这一部分保留了模型判断力,因为复杂事件无法只靠固定规则完成。但发散被放在明确边界内:Worker 白名单可以按对话模式与告警处置模式分别配置,最大步骤数限制委派规模,子任务有明确输入与返回摘要。模型可以决定怎样调查,却不能凭空获得未授权的 Worker 或 Skill。

3. 固定 Workflow 不是替代 Agent,而是复用高频运营经验

安全运营中有大量已被团队验证过的流程,例如钓鱼邮件分析、恶意 IP 告警处置、账号异常排查或工单闭环。每次都让 Supervisor 从零规划,不仅浪费 Token,也可能造成执行差异。

SFlow 因此提供可复用 Agent Workflow:一个 Workflow 定义固定步骤、每一步使用的 Worker 与任务模板。run_workflow 负责加载计划,但 Supervisor 仍然为每一步构造包含当前告警、前序结果与任务目标的完整 task_prompt。固定的是运营主干,不是把 Worker 降级成只能执行死命令的脚本。这正是 LangGraph 在防守端的价值:已知流程显式化,执行状态可追踪,遇到复杂输入时仍允许节点内部使用模型推理。

4. Skill 是安全运营动作的最小可治理单元

SFlow 的能力扩展使用 SKILL.md + 可选 main.py。doc 类型 Skill 提供知识,hybrid 类型 Skill 同时拥有可执行入口。Skill 被发现后适配为 LangChain Tool,实际执行发生在独立子进程,通过结构化 JSON 输入输出,并留下审计信息。

这种设计把 Agent 和企业现有能力解耦:威胁情报查询、资产信息获取、账号封禁、通知、工单更新或结单,可以分别实现为 Skill,不需要修改 Supervisor 核心代码。每个 Agent 有独立的文档与执行 Skill Allowlist,Skill 可以定义输入 Schema、是否需要审批以及自己的完成语义;Agent 只能看到和调用被授予的能力,Runtime 负责参数校验、执行和记录。这里最重要的不是"插件化",而是在自然语言判断与真实安全动作之间放入一个可治理的接口。

5. 审批与 Checkpoint 让人真正进入工作流

当手动处置或对话任务调用 approval_required Skill 时,Graph 不会只向前端发一个临时提示,而是进入等待状态:审批请求、运行范围和 Checkpoint 被持久化,用户批准或拒绝后,系统从相应位置恢复。

这和普通聊天里的"你确定吗"不同。对安全运营来说,审批可能对应封禁账号、隔离主机、修改策略或关闭事件,必须能回答:批准的是哪个动作、参数是什么、属于哪条告警、谁做出了决定,以及恢复后究竟执行了什么。任务状态也因此不是简单的 running/done,而会经历 queued、running、awaiting_approval、pending_closure、succeeded、failed 或 completed——状态图在这里直接表达运营事实。

6. "模型说已完成"不能等同于"动作真的完成"

安全运营 Agent 很容易出现一种危险幻觉:生成一段看似完整的 JSON 或自然语言,声称已经封禁、通知或结单,实际上并没有调用对应工具。

SFlow 对需要处置或结单的任务检查真实 Skill 调用结果,并用 completion_policy 区分情报查询、遏制动作、终态通知和正式结单。最终状态来源于实际执行事实,而不是模型文本中的自我声明。这也是我认为防守端必须更加确定性的原因:分析可以有概率,执行状态不能靠猜。

7. 完整审计数据和模型上下文必须分开

SOC 任务会积累大量告警字段、工具返回、Worker 对话和执行日志。全部交给模型会迅速耗尽上下文,但为了审计又不能简单丢弃。

SFlow 在完整 state、checkpoint 和 run log 之外,为每次 LLM 调用单独构造有预算的 llm_prompt_view:保留当前任务锚点、case_context、最近 ReAct 轮次和压缩后的工具结果。case_context 记录目标、告警引用、关键事实、已执行动作、缺失输入、待审批、已完成步骤与禁止重复事项。系统完整保留发生过的一切,模型却只需要阅读当前决策所需的视图——完整审计面向人和系统追踪,紧凑上下文面向下一次推理。

8. 一条告警在 SFlow 中怎样走完闭环

把上面的模块连起来,一条典型告警会经历这样的过程:

  1. 对应告警源按自己的周期拉取原始数据;
  2. Parser 将其标准化,并通过源 ID 与事件 ID 完成幂等去重;
  3. 任务进入持久化队列,由人工或后台循环启动;
  4. Supervisor 读取告警、可用 Worker、Workflow 与策略,决定直接研判还是委派调查;
  5. Worker 在独立 SubGraph 中读取获准 Skill,调用情报、资产或处置能力;
  6. 独立调查可以并行,结果以摘要、关键事实、动作和错误返回 Supervisor;
  7. 高风险 Skill 触发审批,任务保存 Checkpoint 并等待人工决定;
  8. 恢复后执行真实动作,Runtime 校验 Skill 结果与完成策略;
  9. 系统生成结构化研判、执行链路与最终状态,完整过程进入运行日志和 WebUI。大部分路径是稳定的,调查节点可以发散;所有真实动作又回到确定的权限、状态和审计链路里。这就是我对防守 Agent 的总体理解:

图不是为了限制模型,而是为了让模型的判断能够进入一个可运营的组织流程。

五、Benchmark:Runtime 是否真的在释放模型能力

RiftX 已在两个公开安全 Benchmark 上完成评估。两次都是本地运行——在线榜单要求把 Agent 打包成 Docker 镜像提交,而 RiftX 是本地交互式工作台,走不了这个通道,因此按官方题目集与计分规则在本地执行,得分仅供参考。

CyBench:40/40

CyBench 记录为总得分 20800、综合得分 100、完成率 100%,完成 40/40 道题。

XBOW Validation Benchmarks:101/104

使用当前版本重新运行 TSECBENCH 的 XBOW Validation Benchmarks,记录为总得分 27440、综合得分 96.96、完成率 97.1%,完成 101/104 道题。

这些结果对我的意义,不只是分数本身,也不是能一定说明 RiftX 的 Harness 已经到了 SOTA 水平。

第一,它说明没有预先规定完整攻击路线,并不必然降低完成度。只要工具、观察、上下文和运行保障设计得当,模型能够自己组织大量安全验证任务。

第二,两个 Benchmark 的任务形态和评分方式不同,同时取得较好结果,至少说明能力不是只适配了一套固定题型——RiftX 的价值更接近一个通用 Runtime,而不是为某一批题硬编码的解题器。

第三,Benchmark 会把许多现实变量压缩掉。真实企业环境包含复杂身份、业务流程、历史系统、权限关系、网络条件和组织约束,不会总有一个清晰的题目告诉 Agent 漏洞类型与判定标准。

RiftX 在企业内部实战中也已发现多个严重/高危风险。这些结果让我更确信,"给模型充分探索空间,同时把执行环境做好"的路线能够从测试集迁移到真实目标。受限于合规与保密要求,在这里就不细说具体企业、资产、漏洞细节或利用过程了。

我同样不认为跑分意味着"自动渗透已经解决"。结果仍然会受到模型版本、上下文策略、工具稳定性和评测环境影响,一次成功不能代替持续复测。Benchmark 更像一把共同的尺,用来判断 Runtime 是在释放模型能力,还是在用自己的复杂度拖累模型。

六、160 亿 Token 换来了什么

如果只看最后的 RiftX,答案好像很简单:接入一个强模型,给它浏览器, Shell 和证据 blackboard,让它自主工作。

但真正让我相信这个答案的,不是最初的直觉,而是前后 40 天、160 亿 Token 的反复验证:试过自己控制循环,试过把 Codex CLI 直接用于安全任务,试过让 PydanticAI + Temporal 管住企业级长任务,也在 DeepSeek Harness 刚发布时做过评估,最后逐步放下这些不合适的部分,观察 pi 与应用层 Runtime 能否让模型重新接管任务。

最终留下来的不是"越简单越好",而是几条更具体的工程判断。

1. 图越完整,不代表 Agent 越智能

图擅长表达已知流程、合法状态和确定分支。它非常适合 SOC 主干,却无法替代对未知攻击面的探索。把模型的全部思考投射成图,常常只是让系统获得结构感,并没有让模型获得新信息。

2. Durable 不等于 Effective

持久化、恢复和重试极其重要,但它们保证的是任务不会因为基础设施故障消失。一个方向错误的任务,也可以被非常可靠地执行到底。运行保障必须服务于推理,而不能被误认为推理本身。

3. 证据应该约束结论,不应绑架探索

没有证据的高危结论不可接受。但探索阶段本来就会产生大量未证实假设和失败尝试,系统应该在结论出口处严格,在探索过程中保持空间。

4. 模型升级应该直接转化为产品升级

如果 Runtime 大量编码了当前模型的弱点,每次模型进步都可能与旧控制逻辑冲突。把模型擅长的判断留给模型,把稳定的环境能力留给系统,新的模型能力才更容易直接成为产品能力。

5. 攻防可以共享底座,不能共享一种编排哲学

RiftX 和 SFlow 都需要工具协议、权限、审批、上下文管理、持久化和审计。但 RiftX 把自由留在上层、边界放在底层,SFlow 把稳定流程放在外层、发散空间留在局部。二者不是互相否定,而是对不同任务分布的响应。

这五条凑在一起,就是我现在对 AI for Security 的理解,朴素到只有一句话:

把确定性留给系统,把不确定性交给模型。

PydanticAI + Temporal 也没有从我的技术选择中消失。如果未来某个场景需要跨天运行、严格重放、多系统补偿和多人审批,它们仍然是很好的 Runtime 基础。我只是不会再让持久化工作流顺便接管模型本应拥有的探索权。

七、写在最后

RiftX 不是为了完成这篇文章才整理出来的概念项目。它实际跑过两个公开 Benchmark,也进入过企业内部授权测试;浏览器、多 Agent、上下文、审批、证据与 MCP,都是沿着真实失败一步步补出来的能力。

如果你正在做授权 Web 安全测试、漏洞验证、靶场研究或安全 Agent 开发,我希望 RiftX 能成为一个直接可用的本机工作台,而不是又一个只能运行 Demo 的框架:

  • 使用自己的模型与兼容 API,不需要 RiftX 云账户;
  • 在同一工作台观察主 Agent、子 Agent、浏览器、终端、审批和证据;
  • 用多身份 BrowserContext 验证真实业务权限,而不只是发送孤立的 HTTP 请求;
  • 接入本机 Skills 和外部 MCP 工具,不用修改 Agent 核心;
  • 查看代码、复现实验、提出 Issue,也可以直接参与改进。如果这些设计对你有启发,欢迎访问 RiftX GitHub 仓库,实际安装并跑一次任务。如果它确实帮到了你,也欢迎给项目一个 Star。Star 不能代替产品质量,但能让它被更多安全研究人员和 Agent 开发者看到,也会帮助我继续投入时间把它做得更好。对我个人而言,RiftX 与 SFlow 也是一份公开的工程履历。它们展示的不只是调用模型 API,还包括 Agent Runtime、长任务与并发、浏览器自动化、网络边界、上下文工程、权限审批、持久化、证据链路、前后端产品化,以及在发现架构不合适时推倒重来的能力。如果未来有团队在寻找真正做过 AI for Security 落地、同时理解攻防差异的人,我希望这些代码比任何自我描述都更有说服力。我现在更愿意把 Agent 产品理解成一座场地:它不替选手跑完路线,但决定选手能否看清、能否行动、能否与队友协作、能否在摔倒后继续,以及是否始终留在规则之内。未来模型还会继续变强。一个过度绑定当前模型弱点、堆满补丁式流程的系统,可能很快成为下一代模型的阻力;一个把环境和边界做好、把判断空间留给模型的 Runtime,反而更容易吃到每次模型升级的红利。这就是 40 天和 160 亿 Token 之后,我得到的答案:

不要急着教 AI 按我们的旧流程工作。先判断哪些流程本来就应该稳定,再为剩下的不确定性准备一个让模型能够理解世界、作用于世界并承担结果的环境。