前言

在最近的一段时间内,由于工作的方向的原因,我一直在尝试在web3安全方面与AI的结合。我们主要的研究方向是如何提升审计员(区块链安全工程师)的工作效率,并在一定程度上帮我们这种审计员查漏补缺。

由于智能合约本身的特性,比如代码量小,数学逻辑复杂,边界条件苛刻等,所以导致在Web3安全当中应用AI是一个不一样的方式。智能合约既没有业务代码动辄几百万的巨型代码库,也没有横跨几十个jar包的微服务,在智能合约的自动化审计当中,AI唯一要做的就是集中在逻辑上,找到可利用的逻辑路径。

由于后续Skills的兴起,以及我的主生产力工具Codex的支持,我当时果断采用Skills的方式搭建审计工作流用于智能合约的审计当中。

Prompt engineering的发展

在Prompt编写方面,随着AI时代的快速发展,也诞生了很多Prompt编写的优秀范式。这里主要来讲述最常见的也是最核心的四种 Prompt 范式:Standard(标准提示), Few-Shot(少样本提示), CoT(思维链), ToT(思维树)。

1. Standard Prompting

在早期(如 GPT-2 时代),模型还不太能听懂人的指令。直到 2020 年 OpenAI 引入了指令微调(Instruction Tuning)和后来的 RLHF(基于人类反馈的强化学习),大模型具备了强大的 Zero-Shot(零样本) 能力。你不需要给它任何例子,直接下达指令,它就能干活。

当然这个时期的Prompt也不会仅局限于一个简单的指令,例如:请帮我写完这篇日记。而是会采用一种结构化的文本来实现更高效的任务执行。例如,[角色]+[任务]+[用户输入],当然这期间也可以插入一些背景知识。这是最基础的交互方式,核心在于清晰表达意图。

[系统指令/角色设定]
你是一个资深的前端开发工程师。

[任务指令]
请解释什么是 React 的 Virtual DOM,并说明它的优缺点。

[输入数据]
(此处为空,因为是直接提问)

但是随着大模型的发展,越来越多的大模型往指令跟随的能力进行发力,以适配Agent智能化工作的发展需求。现在的Few-shot如果单独使用的话往往会造成能力局限,“说啥是啥”的情况,无法在一些未知或相似的问题当中进行思维发散,从而失去泛化应用的能力。

2. Few-Shot Prompting

Few-Shot 的爆火源于 2020 年 OpenAI 发布的论文”Language Models are Few-Shot Learners“。研究人员发现,不需要微调,只要在 Prompt 里塞几个例子,模型就能按照例子举一反三完成类似的任务,这颠覆了当时 AI 界严重依赖 Fine-tuning的认知。
这种Prompt范式之所以生效依赖于
In-Context Learning机制。大模型在处理输入时,会通过注意力机制捕捉 Prompt 中示例的模式、格式和内在映射关系,然后将其应用到新的问题上。简单的来说,就是在用户输入之前提供一些和用户输入问题相关的问答对。如下所示:

[任务指令]
请判断以下句子的情感倾向,输出只能是“正面”、“负面”或“中性”。

[示例 1]
输入:这款手机的电池续航太差了,半天就没电。
输出:负面

[示例 2]
输入:今天天气真不错,适合出去踏青。
输出:正面

[示例 3]
输入:这个杯子的材质是玻璃的。
输出:中性

[实际输入]
输入:虽然价格有点贵,但是这台电脑的运行速度确实快到了极致!
输出:

3. CoT: Chain of Thought

思维链的提出源于论文“Chain-of-Thought Prompting Elicits Reasoning in Large Language Models”。这篇论文的主要解决的问题是,大模型在处理数学逻辑相关的问题时,例如求解一个方程组,总是会犯错,往往会通过经验化的回答来解决问题,从而造成非常大的错误。但如果让模型采取步进式的思考模式,这种误报就会大幅减少,从而实现有关数学逻辑的推理。

在CoT论文提出之后,有人曾研究表明,甚至只需要在Prompt当中加入一句“let think it step by step”,都能够极大提升大模型的回答准确率。具体例子参考如下:

[任务指令]
解决以下逻辑/数学问题,请先给出完整的推理步骤,最后得出结论。

[示例 1]
问题:小明有 5 个苹果,他给了小红 2 个,然后买了一个西瓜,西瓜切成了 8 块。请问小明现在有几个水果(不管大小)?
推理过程:
1. 小明初始有 5 个苹果。
2. 给了小红 2 个,剩下 5 - 2 = 3 个苹果。
3. 后来买了一个西瓜,也就是 1 个水果。
4. 西瓜虽然切了 8 块,但作为整体它依然是 1 个西瓜。
5. 总计水果数量 = 3 个苹果 + 1 个西瓜 = 4 个。
答案:4个。

[实际输入]
问题:停车场有 10 辆车,开走了 3 辆,又开进来 5 辆摩托车,请问现在停车场有几个轮子?
推理过程:

适用场景: 数学题、逻辑推理、代码逻辑分析、复杂因果关系推导。

4. ToT: Tree of Thoughts

ToT提示词模板源自论文“Tree of Thoughts: Deliberate Problem Solving with Large Language Models”。相关的github仓库为:https://github.com/princeton-nlp/tree-of-thought-llm,中文翻译为思维树。

该思想的核心理念是将问题分解为多个步骤的“思维节点”。结合经典的计算机搜索算法(如 BFS 广度优先、DFS 深度优先)。
过程通常包含四个核心阶段:

  1. 分解(Decompose):把大目标拆成几个小决策。
  2. 生成(Generate):在每个节点生成多个不同的“想法”(候选方案)。
  3. 评估(Evaluate):让 LLM 自己做裁判,给每个候选方案打分(如:有希望、没希望、确定成功)。
  4. 搜索(Search):根据评分,保留好的方案继续向下探索,抛弃坏的方案(剪枝)。

参考原论文的提示词:

# 1-shot
propose_prompt = '''Input: 2 8 8 14
Possible next steps:
2 + 8 = 10 (left: 8 10 14)
8 / 2 = 4 (left: 4 8 14)
14 + 2 = 16 (left: 8 8 16)
2 * 8 = 16 (left: 8 14 16)
8 - 2 = 6 (left: 6 8 14)
14 - 8 = 6 (left: 2 6 8)
14 /  2 = 7 (left: 7 8 8)
14 - 2 = 12 (left: 8 8 12)
Input: {input}
Possible next steps:
'''

value_prompt = '''Evaluate if given numbers can reach 24 (sure/likely/impossible)
10 14
10 + 14 = 24
sure
11 12
11 + 12 = 23
12 - 11 = 1
11 * 12 = 132
11 / 12 = 0.91
impossible
4 4 10
4 + 4 + 10 = 8 + 10 = 18
4 * 10 - 4 = 40 - 4 = 36
(10 - 4) * 4 = 6 * 4 = 24
sure
4 9 11
9 + 11 + 4 = 20 + 4 = 24
sure
5 7 8
5 + 7 + 8 = 12 + 8 = 20
(8 - 5) * 7 = 3 * 7 = 21
I cannot obtain 24 now, but numbers are within a reasonable range
likely
5 6 6
5 + 6 + 6 = 17
(6 - 5) * 6 = 1 * 6 = 6
I cannot obtain 24 now, but numbers are within a reasonable range
likely
10 10 11
10 + 10 + 11 = 31
(11 - 10) * 10 = 10
10 10 10 are all too big
impossible
1 3 3
1 * 3 * 3 = 9
(1 + 3) * 3 = 12
1 3 3 are all too small
impossible
{input}
'''

能力泛用及问题抽象

在前文讲了这么多关于提示词编写的技巧,有些在当今的生产环境当中已经不能单独使用了,例如zero-shot和few-shot,前者缺乏引导式的思维难以将大模型的思考约束到正道上,后者却是受限于当前大语言模型高度的指令跟随能力,难以在某些问题上实现泛化处理。例如,我们给他了一些智能合约漏洞的例子,然后让他带着这些例子去审计别的智能合约,他往往就只会审计例子当中的漏洞类型(甚至还会漏报),难以覆盖所有的存在于合约当中的漏洞,更何况在具体业务的场景下一定会存在未知漏洞的情况。

所以想要写好一个能够在真实环境当中实战使用的提示词,需要做好两件事情:“能力泛用”及“问题抽象”。

能力泛用

“泛用”在这里指的不一定是能够处理一个领域的所有已知及未知问题,这里指的事实上是希望大模型能够启发式的对问题求解,而不局限于给出的具体化的实例。例如,我们要解决智能合约当中的转账手续费的问题,我们也许会给prompt加一条指令**“请帮我找到该合约当中的所有可能存在的手续费扣除异常问题,例如takeFee在项目方自己的转账过程当中也进行了扣除没有豁免....”**。这种指令确实能够生效,但是大部分依靠这种prompt实现的审计也好,漏洞挖掘也好,大概率是如下这个结果:

1.在当前视作模板的智能合约下表现良好(一般情况下,要想编出一个漏洞检测的prompt,你肯定需要有一个包含漏洞的智能合约,我把这个称作模板),能够轻而易举地找到该合约的手续费扣除异常漏洞,甚至能够发现除去手续费未豁免以外的其他漏洞,比如双重手续费扣除逻辑问题。

2.当我们换了一个智能合约尝试横向应用的时候,问题开始逐渐出现,比如:

​ (1)当另一个合约当中包含多种类型的手续费的时候,整个检测逻辑开始崩溃,例如该合约代码当中存在tax,ticket等多重手续费收取逻辑,因为在之前的Prompt编写当中我们的例子太过具体,使得大模型难以启发式的看待其他不同但相关的逻辑。

​ (2)当另一个合约存在的手续费异常逻辑不是手续费扣除未豁免的情况,整个检测逻辑开始失效,大模型无法识别更多的未知漏洞(这里特指未在prompt当中直接指明的漏洞类型),当然我们可以在之前的prompt当中进行补充,emm,这是一个好的办法,可是如果我们每次碰到一个这样的问题我们都进行补充的话最后的prompt将会逐渐膨胀难以控制,从而会造成大模型的注意力转移,导致整个提示词的效能下降。

所以我们真正要做的是,使prompt实现“能力泛用”。所谓“能力泛用”就是在prompt当中写明处理这类问题该具备的一些能力,而不是直接给出一些例子。还是以上面的手续费扣除异常逻辑问题举例,我们要做的是建立一种能够识别资金流向的能力:

capability 1:
1. 实体与角色识别:全面盘点参与资金流转的所有实体(如发送方、接收方、合约自身、各类黑白名单、以及诸如tax/marketing/liquidity/ticket等所有潜在的资产扣除项)。
2. 资金链路与公式推导:针对任何涉及资产转移的函数(如transfer/transferFrom),提取出该笔资金的完整计算公式。若存在任何形式的扣减,请构建精确的等式:实际接收金额 = 初始金额 - 扣减项A - 扣减项B...,并明确每一个扣减项的最终流向。
3. 状态与条件边界梳理:找出所有影响资金链路的条件判断(if/else/require/modifier)。分析当交互双方的身份或状态发生组合变化时(例如:普通用户到普通用户、白名单到路由合约、项目方到流动性池等),资金流向和扣除逻辑会发生怎样的分支变化。
4. 逻辑一致性推演:基于上述构建的资金流向图谱,启发式地寻找逻辑盲区。例如:是否存在某条条件分支导致了非预期的资金扣除(如多重扣费叠加、该豁免的路径未被豁免)?是否存在公式计算导致的资金死锁或溢出?是否存在由于状态标志位冲突导致的流向错乱?
请基于上述能力框架,输出你的推演过程,并指出可能存在的资金流向异常点。

当然,像是这样的提示词你没有必要全部手写,现在你完全可以利用AI先写出一版,然后再读完的基础上进行手动的调整,看看有没有表达不通顺的地方以及和自己的预期相悖的地方。上面这段提示词就是使用AI+手工微调写出来的版本,当然这一版并不是我在生产环境当中写出的实战版本,只用作解释能力泛用的思想。

问题抽象

在之前的“能力泛用”,我提到了一个好的能力对于大模型的任务执行有着非常好的启发式作用可以很好的扩散大模型的思维方式。但是有一件事情同样重要,就是问题的抽象,如果把之前的能力泛用,比作1N的话,那么一个好的问题抽象,加上好的能力泛用就能达到NN的效果。

还是以之前的手续费扣除异常举例,这个问题的提出本身是一个很好的事情,但是这个问题太过具象化了。对于任何一个智能合约项目而言,稍微复杂一点的Token项目都会包含各种各样的机制,他们都和资金相关。例如,质押过程,转账过程,分红分发过程,利率调整过程等等。这些内容都和资金高度相关,甚至有些过程里面包含了手续费扣除的相关流程。所以我们需要一种更加高层次的视角重新看待这个“手续费扣除异常问题”,他应该是资金流向的一环,应该是经济模型当中的一环。如下所示:

作为资深的智能合约安全审计与经济模型分析专家,从‘全局经济模型’的高维视角,对该合约进行深度启发式审查。你需要将该合约视为一个复杂的资金流转与状态机系统,并严格按照以下维度展开推演:
1. 经济机制与资金入口盘点:全面梳理合约中所有涉及资金(代币/原生资产)流转与记账的业务模块。请穷举并归类这些机制,包括但不限于:转账与授权扣费机制、质押(Staking)与解质押机制、收益(分红/利息)计算与发放机制、流动性管理、代币铸造与销毁等。
2. 模块级资金链路推导:针对上述提取出的每一个经济机制,明确其资金的输入端、输出端以及沉淀端。写出每个模块内部的资金流转数学公式,并清晰界定哪些变量是动态的(如随时间、全局状态或用户行为改变)。
3. 跨机制的耦合与状态冲突推演:这是最核心的一步。请重点分析不同经济机制发生交叉时,资金流向与记账逻辑是否还能保持一致。
4. 极端边界下的系统级闭环检验:基于整体经济模型,引入极端条件(如:极速的存取操作、闪电贷级别的巨额资金注入/抽离、时间跨度的极大延展、各类角色的高频穿插交互),推演系统是否会发生‘资产非预期增发(凭空产生)’、‘资产非预期死锁(无法提取)’或‘记账与实际余额的永久性脱节’。

同样的,上面这段提示词就是使用AI+手工微调写出来的版本,当然这一版并不是我在生产环境当中写出的实战版本,只用作解释问题抽象的思想。

总结

请注意,一个好的提示词需要不断地进行问题抽象,能力提炼,尽可能地减少prompt所占context空间的大小。一味的加入例子只是最低廉最无脑且低效的办法,使用抽象化的问题和足以启发后续逻辑的能力才是正道。

skills的本质

再介绍完如何编写一个真正能够解决问题的Prompt之后,我们将目光放在新兴的Skills上面,在之前的前言部分我提到,我最终实现的生产环境版本就是通过skills作为载体实现整个的一体化自动智能合约审计的。在很久之前我初次进行Agent设计开发的时候,我曾跟朋友说过一个理念是关于提示词编写的,我认为新时代的提示词编写应该像我们编程时编写函数代码一样:顺序的,有逻辑的,结构分明的。我将这种提示词的编写理念成为“语言程序化/提示程序化”。这种理念并非空穴来风,因为我将一个完整的提示词视作LLM时代下的“函数”。

无论是你为Agent初始设定的System Prompt还是后续输入需要完成某种特定任务的Prompt,对于LLM来说,他要做的只有一件事情就是“指令遵循”。根据Prompt当中写好的指令内容,按部就班的执行指令逻辑顺利完成任务(如果是一个好的模型的话)。这种预设行为的感觉不得不让我自发的和函数联系起来,我认为他们具有相同的特性,只不过归属于不同的时代。

skills的提出更像是对这个说法的佐证,一个可以调用脚本(执行特定逻辑),可以查阅数据(参数输入),可以设定角色背景及思考逻辑的提示词综合体。在我看来,skill就像是wrapper function,封装了一系列需要顺序执行且有限步长的程序逻辑

skills的本质是什么?在网上很多人会说Skills是一个提供数据且绑定了reference以及特定行为script的技能包。这种理解并无过错,甚至囊括了大部分skills能够完成和承载的功能。但是对于本质这个问题,我希望更加刨根问底一点,更加纯粹一点。简单的来说skills也不过是一个prompt,进一步的他是一个封装好的“函数”。

有了前面的skills和prompt的理解,我们现在有三个关键的洞察(这里不区分context与prompt):

1.skills本质上是prompt,是在特定任务当中Agent可以调用的技能

2.在像cusor,qoder,codex等这样的交互性Agent当中,所有的用户输入都是prompt

3.skills的调用依赖于用户输入,也就是说skills可以被用户的prompt唤醒。

有了上述三点我们可以得出一个结论:skills是prompt,prompt可以调用skills,那么skills就可以调用skills。

skills = prompt
input = prompt

input.invoke(skills)=>skills.invoke(skills)

安全能力探索(workflow)

结合之前的Prompt Engineering的各种发展形态以及Skills本质的介绍,我们有了更好的安全审计的实现方式,即把skills编排成workflow以实现阶段式工程化代码审计。参考ToT的思想,我们可以将智能合约的审计问题分成多种不同类型的问题,然后交给不同的“专家”,也就是skills进行审计,每一个skills当中我们又可以通过CoT的思想建立起步进式的思考方法。

在skills连接起来的workflow调用过程当中,所有的skills的输出结果谁共享的,因为都处于同一个会话当中,前者的分析结果可以和后者的分析结果进行综合,进行合并去重等操作,或者是在后面额外给出一个skills专门用于进行结果的合并于去除。当然我们不能完全的依赖于会话当中的自动上下文共享,如果有一些全局的注意事项需要每一个skills在事先都要进行考虑,那最好在每一个间接的skills调用当中都进行显式的指明。类似如下

Invoke Skills xxx
**Context Injection**: [注意事项说明]

如下是极简化的我设计的自动化审计工具的结构示意(并非生产环境版,生产环境版的过于复杂了)

── audit-router
│   ├── checklist-reference.md
│   └── SKILL.md
├── token-audit
│   └── SKILL.md
└── traditional-audit
    └── SKILL.md

Router skills参考内容(极简版,仅用于展示功效)

# ---------------------------------------------------------
# Skill Name: Audit-Router (Workflow Dispatcher)
# Role: 全局网关,负责对输入合约进行特征提取与工作流路由分发
# ---------------------------------------------------------
name: audit-router
description: "Evaluates the contract architecture and routes to specific scanner workflows."

inputs:
  - name: contract_source_code
    type: string
  - name: context_reference     # 挂载 checklist-reference.md 等基础规则
    type: file

# 核心路由逻辑 (抽象表达)
routing_rules:
  # 步骤1:基础特征提取(隐藏具体判定Prompt)
  - action: "extract_project_features"
    output_variable: "project_type_tags"

  # 步骤2:根据特征标签,动态分发到下游的具体专业 Skill 工作流
  - switch_case:
      - condition: "has_tokenomics(project_type_tags) AND is_erc20_variant(project_type_tags)"
        invoke_skill: "token-audit"      # 路由至 Token 专属分析管线
        
      - condition: "has_liquidity_pools(project_type_tags) OR is_amm(project_type_tags)"
        invoke_skill: "dex-audit"        # 路由至 DEX 专属分析管线
        
      - condition: "has_nft_staking(project_type_tags) AND has_reward_distribution(project_type_tags)"
        invoke_skill: "gamefi-audit"     # 路由至 GameFi 专属分析管线

      # 默认兜底逻辑
      - default:
        invoke_skill: "traditional-audit" # 降级使用传统标准审计管线

outputs:
  - "aggregated_audit_report" # 汇总下游各 Skill 返回的报告

Token-Audit skills参考内容(极简版,仅用于展示功效)

# ---------------------------------------------------------
# Skill Name: Token-Audit 
# Role: Token 专用扫描器,负责资金流向、手续费、经济模型检查
# ---------------------------------------------------------
name: token-audit
description: "Specialized workflow for analyzing tokenomics, fee deductions, and fund flows."

# 依赖注入:由 Router 传递过来的代码和上下文
inputs:
  - contract_source_code
  - project_type_tags

# 子任务编排 (Token 扫描专属逻辑)
execution_pipeline:
  # 调用我们前面提到的“全局资金流向抽象能力”
  - step: 1
    action: "analyze_fund_flow_matrix"
    description: "推演手续费、白名单、分红等交叉逻辑的资金流向边界"
    
  # 特定机制检查
  - step: 2
    action: "verify_tax_and_fee_logic"
    description: "检查多重手续费叠加与状态更新一致性"

outputs:
  - "token_vulnerability_findings" # 返回专属分析结果给 Router

Traditional-Audit skills参考内容(极简版,仅用于展示功效)

# ---------------------------------------------------------
# Skill Name: Traditional-Audit 
# Role: 标准安全扫描,处理所有智能合约通用的底层安全问题
# ---------------------------------------------------------
name: traditional-audit
description: "Standard vulnerability scanning for EVM contracts."

execution_pipeline:
  - step: 1
    action: "reentrancy_check"
  - step: 2
    action: "access_control_check"
  - step: 3
    action: "integer_overflow_check"

outputs:
  - "traditional_vulnerability_findings"

总结

内容太多,一次就只写到这里,核心的概念已经讲到了,后续其实就是更多安全能力的开发以及Skills其他的应用方面。例如script的使用在整篇文章当中几乎没有涉及到,这事实上受限于智能合约的场景,导致script根本没有办法发挥。后续的文章当中会介绍别的一些skills在安全能力方面的探索和应用,以及如何应用在传统web2上的代码分析。

总而言之,回归基本功,如何写好prompt也许才是ai时代下的关键。

参考文章

https://www.luozhiyun.com/archives/899