利用数据流“清洗”大模型漏洞检测:LLMSAN 技术解析
该研究针对大语言模型(LLM)在代码漏洞检测中容易产生误报的"幻觉"问题,提出了一种新的去伪技术:通过让LLM生成数据流路径并将其分解为基本属性进行验证,从而筛除虚假漏洞报告。实验显示该方法在合成基准上达到91%精确率和74%召回率,相比未处理提升22%精确率,在真实Android恶意软件检测中也优于工业级分析器。
利用数据流“清洗”大模型漏洞检测:LLMSAN 技术解析
个人论文总结分享
论文标题:LLMSAN: Sanitizing Large Language Models in Bug Detection with Data-Flow
开源代码:https://github.com/chengpeng-wang/LLMSAN
一、背景:LLM 漏洞检测的“高幻觉、低信任”困境
将 大语言模型 用于漏洞检测的典型做法是:通过 few-shot 示例告诉模型什么是某种漏洞(如 DBZ、NPD、XSS 等),或输入新代码片段,让模型判断是否存在对应漏洞,并生成解释。
虽然这种方式 门槛低、易定制 ,但存在关键问题在于幻觉严重 。
论文实验发现,以 gpt-3.5-turbo 对 Juliet 测试集进行除零(Divide-by-Zero, DBZ)检测时:
- 在 239 条漏洞报告中,有 184 条是误报;
- 即大部分“检测结果”都是模型凭空构造的错误数据流与漏洞解释。
对于实际工程而言, 误报过高会直接导致工具失去可用性 :开发者无法信任结果,也难以在 CI/CD 或代码审查中持续使用。
论文的核心目标是:
在不放弃 LLM 灵活性与易定制能力的前提下, 显著降低误报、抑制幻觉 ,提升漏洞检测结果的可靠性。
二、核心思想:用“数据流路径 + 清洗流水线”约束 LLM
LLMSAN 的出发点非常明确:
- 要求 LLM 不仅给“漏洞结论”,还要给出一条完整的“数据流路径”作为证据;
- 将这条数据流路径拆解成若干可验证的程序性质,再通过一系列 Sanitizer 进行过滤;
- 最大化使用确定性的程序分析(解析器、控制流分析等),最小化依赖 LLM 的自由推理。
2.1 数据流路径:从自然语言解释转向结构化证据
论文将 数据流路径(data-flow path) 定义为:
其中:
- (v_i):某一行上的变量或表达式;
- (ell_{n_i}):该行的行号;
- 相邻元素 ((v_i, ell_{n_i}) o (v_{i+1}, ell_{n_{i+1}})) 表示一个 数据流实例(data-flow fact) :第 (i) 个值会直接影响第 (i+1) 个值。
以 DBZ 为例,一条合法路径可以是:
parseInt(arg)可能产出 0(行 12)→ 赋给局部变量
c(行 12)→ 传入参数
y(行 3)→ 作为除数参与
100 / y(行 5)
表示为:
这条路径自然就成为“除零漏洞存在”的 结构化证据 。
LLMSAN 强制 LLM 在生成漏洞报告时必须给出这种路径,后续所有的“清洗”都围绕这条路径展开。
2.2 总体框架:从 CoT 生成到 Sanitizer 流水线
LLMSAN 的整体流程可以概括为:
- Few-shot CoT 漏洞检测阶段:
- 输入:目标程序 + 若干“示例程序 + 漏洞解释 + 数据流路径”的 few-shot 样例;
- 利用 Chain-of-Thought Prompting ,让 LLM 学会:
- 如何识别特定类型漏洞;
- 如何构造对应的数据流路径;
- 输出:潜在漏洞集合,每条包含:
- 漏洞类型;
- 自然语言解释;
- 数据流路径 (p)。
- Sanitization(清洗)阶段:
- 将每条路径 (p) 输入到“清洗流水线”;
- 对 路径起点/终点 和 路径中间每条边 分别进行检测;
- 使用 4 种 Sanitizer:
- Type Sanitizer
- Functionality Sanitizer
- Order Sanitizer
- Reachability Sanitizer
- 只保留同时通过所有 Sanitizer 的路径,将其视为可信漏洞报告。
该框架的关键设计是:先用 LLM 做生成,再用结构化程序分析与局部 LLM 检查进行过滤,以“结构化证据”为中心串联两者。
三、程序性质分解:拆解验证任务,压缩 LLM 自由度
验证“整条数据流路径是否正确”本身是复杂任务。LLMSAN 将其分解成两条正交维度:
- 程序位置维度(Program Decomposition):
- 路径起点 / 终点:与漏洞定义直接相关;
- 路径中间边:与数据传递可行性相关。
- 性质类型维度(Property Decomposition):
- 语法性质(Syntactic) :
- 类型、表达式形态、控制流顺序等;
- 可通过解析器 + 轻量静态分析精确判断。
- 语义性质(Semantic) :
- 某表达式是否可能产生危险值(0、null、敏感数据等);
- 在 if 条件等约束下,值是否真的能从 A 传播到 B;
- 依赖于对程序语义的理解,适合交由 LLM 在局部上下文中判断。
这使得整体设计变为:
- 可确定部分 → 尽量使用传统程序分析,不依赖 LLM;
- 必须模糊的部分 → 限定在小代码片段上询问 LLM,只问一个具体问题。
四、四类 Sanitizer:路径级幻觉过滤机制
基于上述分解,LLMSAN 设计了四种 Sanitizer,从不同维度过滤不合法路径。
4.1 Type Sanitizer:起点/终点的语法一致性检查
目标:检查路径起点/终点的语法类型与结构是否与 few-shot 样例中的模式一致。
做法:
- 对每个漏洞类型(如 DBZ、NPD),从 few-shot 样例中统计起点/终点的语法类型集合;
- 对模型生成的路径,提取起点/终点的语法类型;
- 若起点或终点的语法类型与样例集合完全不相交,则判定该路径与漏洞定义不符,将其视作 spurious。
例如,DBZ 的起点一般是:
- 数值字面量(如
0)、或 - 返回数值的函数调用(如
parseInt(arg));
终点一般是除法表达式中的除数位置。
若某条路径将字符串字面量 "" 作为 DBZ 起点,即与所有样例类型不符,Type Sanitizer 直接过滤掉该路径。
该模块完全基于解析与简单静态分析,不依赖 LLM,因此结果稳定且无幻觉。
4.2 Functionality Sanitizer:起点/终点的语义功能检查
目标:判断路径起点/终点在语义上是否满足漏洞定义,例如:
- DBZ:起点是否可能为 0,终点是否属于除数;
- NPD:起点是否可能为
null,终点是否为解引用操作。
做法:
- 对每个候选起点/终点,仅截取其所在函数(或局部代码片段);
- 使用专门的 prompt 要求 LLM 判断:
- “在给定上下文中,该表达式是否可能为危险值(如 0/null/敏感数据)?”
- 依据 LLM 的判断结果决定是否保留该起点/终点。
由于只提供局部代码,并且问题形式固定、决策空间较小,该 Sanitizer 在保持 LLM 语义理解优势的同时,尽可能减少幻觉。
4.3 Order Sanitizer:控制流顺序约束检查
目标:检查路径中每一条数据流边是否符合控制流顺序。
形式化要求:
对路径
需要保证:
其中p为控制流上的偏序关系,表示“在某条可行执行路径上,前者可以在后者之前执行”。
若出现类似:
(v, line 20) → (v, line 10)
这在实际执行中不可能发生,Order Sanitizer 将其判定为不可能的数据流事实,进而否定整条路径。
该模块主要基于控制流图或结构化控制流信息,不依赖 LLM,能够高效过滤明显违背执行顺序的幻觉路径。
4.4 Reachability Sanitizer:考虑条件与逻辑的可达性检查
目标:在考虑条件分支、循环等语义约束后,判断某个数据流边在逻辑上是否可达。
例如:
int data = parseInt(arg);
if (data != 0) {
int y = data;
print(100 / y);
}语法上 data → y → 100 / y 路径存在,但在 if 条件 data != 0 约束下:
- 进入 if 分支时,
data已保证非 0; - 因此不会产生 DBZ。
做法:
- 对路径中候选的两个点(如
(v_i, ℓ_{n_i})与(v_{i+1}, ℓ_{n_{i+1}})),选取相关函数或局部代码; - 使用 LLM 判断:
- “在给定条件与控制流结构下,是否存在执行路径使得值可以从前者传递至后者?”
- 若 LLM 给出“不可达”结论,则该数据流边被否定,相应路径被判定为 spurious。
与 Functionality Sanitizer 类似,这一步同样通过局部化上下文与固定问题形式,尽量降低 LLM 的推理偏差。
五、实验结果:在多场景显著降低误报
5.1 Juliet 测试集上的效果
在 5 类常见漏洞(APT、XSS、OSCI、DBZ、NPD)的 Juliet 用例上,基于 gpt-4 的 LLMSAN 达到:
- 平均精度(Precision)约 91.03% ;
- 平均召回率(Recall)约 74.00% 。
对比基线方法 FSCoT (仅依赖 few-shot CoT 的 LLM 漏洞检测):
- FSCoT 平均精度约 69.04% ;
- 召回约 74.40% ,与 LLMSAN 接近。
即LLMSAN 在几乎不损失召回的前提下,将精度提升了约 22 个百分点,主要来源于对幻觉路径的大量过滤。
从数据流路径层面看:
- LLMSAN 能过滤约 80% 的 spurious 路径 ;
- 对真实漏洞路径的误删比例非常低,整体约 0.57% 。
5.2 与传统静态分析工具的比较
论文还与两类代表性静态分析工具进行对比:
- Pinpoint :基于 IR 的稀疏值流分析工具;
- CodeFuseQuery :面向工业场景的静态分析系统。
主要结论包括:
- 在 APT、XSS、OSCI 等类型上,LLMSAN 在不依赖编译的前提下,精度接近甚至优于 Pinpoint;
- 在真实 Android 恶意软件基准 TaintBench 上:
- LLMSAN 在污点流检测上的精度与召回均优于 CodeFuseQuery;
- 对于已无法正常编译的老项目,LLMSAN 仍可工作,而基于 IR 的分析会遇到严重障碍。
这表明:
LLM 驱动、以数据流路径为核心的 LLMSAN,可以在一定条件下达到甚至超越传统静态分析工具的效果,同时具备更好的适配旧代码与不完整代码的能力。
5.3 对 CoT / Self-consistency 幻觉缓解效果的观察
论文还分析了几种常见 LLM 幻觉缓解方法:
- Ask-Check;
- CoT-Check;
- SC-CoT-Check(Self-Consistency CoT-Check)。
结果表明:
- 这些方法在不同漏洞类型间表现不稳定;
- 某些场景下,简单的 Ask-Check 反而优于更复杂的 CoT-Check / SC-CoT-Check;
- SC-CoT-Check 在部分漏洞类型上识别的伪路径甚至少于 CoT-Check。
作者指出原因在于:若 CoT 推理过程本身未与程序语义有效对齐,则 CoT / Self-consistency 只是“在错误推理空间内反复采样并投票”,无法系统性地减少幻觉。
相比之下,LLMSAN 通过:
- 引入数据流路径作为结构化中间表示;
- 使用程序性质分解与专门的 Sanitizer;
- 将大量检查转移到可确定的程序分析与局部化 LLM 判定;
从根本上提升了与程序语义的一致性,从而更稳健地抑制幻觉。
六、总结与启示
LLMSAN 的主要贡献可以概括为三点:
- 提出了一种“LLM + 数据流路径 + Sanitization”的新型漏洞检测范式
- 通过 few-shot CoT 即可定义新漏洞类型;
- 支持不完整代码与无法编译工程;
- 以数据流路径为证据,增强可解释性。
- 通过程序性质分解与四类 Sanitizer,有效缓解 LLM 幻觉
- 将“验证路径”分解为多维度的语法与语义性质;
- 尽量用解析器和静态分析处理确定性部分;
- 对语义问题局部化提问 LLM,降低推理偏差。
- 在多种基准与真实场景上显著提高精度,降低误报
- 在 Juliet 上,精度相对普通 CoT 检测提高约 22 个百分点;
- 在 TaintBench 上优于工业级静态分析工具;
- 以适度增加 token 成本换取可用性明显提升。
对未来“LLM + 程序分析/安全”方向而言,LLMSAN 提供了一个值得借鉴的设计思路:
- 不应将 LLM 视作“黑盒静态分析器”,而应:
- 利用 LLM 生成结构化中间表示;
- 结合程序分析构建可验证的证据链;
- 通过明确的属性分解与多级 Sanitizer 约束模型行为。
在此框架下, LLM 的优势与传统程序分析的优势被有机结合 ,为构建可靠的智能漏洞检测系统提供了可行路径。
提出LLMSAN,通过结构化数据流路径与多级清洗机制抑制大模型幻觉,显著提升漏洞检测精度。
由 AI 根据全文自动生成,仅供参考,以原文为准