SILENTDRIFT:利用动作分块实现对视觉-语言-动作模型的隐蔽后门攻击
引言本文是对SilentDrift: Exploiting Action Chunking for Stealthy Backdoor Attacks on Vision-Language-Action Models该论文的学习攻击描述攻击者在训练数据中注入极少量(<2%)带有微小视觉触发器(如5像素红点)的中毒样本,仅在机器人执行任务的关键阶段(如末端执行器接近目标物体时)激活后门;此时模
引言
攻击描述
攻击者在训练数据中注入极少量(<2%)带有微小视觉触发器(如5像素红点)的中毒样本,仅在机器人执行任务的关键阶段(如末端执行器接近目标物体时)激活后门;此时模型输出的动作序列被叠加一个由Smootherstep函数调制的平滑扰动——该扰动在每一步仅有毫米级偏移,但因VLA系统采用动作分块(action chunking)机制,在块内不进行视觉反馈和重规划,导致微小偏差在连续K步(如50步)中积分累积,最终引发显著位置漂移(如数厘米),使抓取或放置任务失败;由于扰动满足C²连续性(起止时刻的位置、速度、加速度均为零),整个轨迹在动力学上与正常操作无法区分,既逃过人类观察也规避自动异常检测,从而实现的攻击。
优势对比
下图展示了传统攻击方式的局限性与SilentDrift新型隐蔽攻击的优势

第一行:传统后门攻击的失败模式
该行展示了三种常见的、但容易被发现或失效的攻击方式,均以“❌”标记表示失败或不隐蔽。
- 左侧:抓取错误对象
- 语言指令:“把红色方块放进蓝色碗里”
- 攻击行为:机器人抓起了绿色球而非红色方块。
- ❌ 问题:动作明显错误,人类一眼可见,且模型输出逻辑严重偏离指令。
- 属于目标替换类攻击,缺乏隐蔽性。
- 中间:放置错误位置
- 机器人成功抓取红色方块,但将其放入棕色碗中(非蓝色碗)。
- ❌ 问题:目的地错误,任务失败明显,轨迹异常,易被检测。
- 属于目标混淆类攻击,同样不够隐蔽。
- 右侧:提前掉落(Premature Drop)
- 机器人在接近碗时突然释放物体,导致任务失败。
- ❌ 问题:轨迹突变,加速度剧烈变化,属于“硬故障”,极易被运动异常检测系统识别。
- 是典型的非平滑攻击,破坏动力学一致性。
这些攻击虽然能造成失败,但都表现为明显的、可察觉的异常行为,不符合“隐蔽性”要求。
第二行:SilentDrift 提出的隐蔽攻击
这一行展示的是本文提出的 Stealthy Attack —— SilentDrift 的工作原理。
整体流程
- 语言指令相同:“Put red block in blue bowl”
- 机器人正常执行:
- 抓取红色方块;
- 移动至蓝色碗上方;
- 但在接近碗的瞬间(KeyFrame)触发后门;
- 执行一个看似自然的偏移轨迹;
- 最终结果为“Near-Miss”(近失)——方块未落入碗中,但动作看起来完全合理。
关键组件详解
- KeyFrame Attack(关键帧攻击)
- 标记为红色星号 ⭐
- 表示攻击仅在任务关键阶段激活(如末端执行器距离目标 < 阈值)
- 优势:避免过早触发导致策略纠正;在不可逆时刻注入扰动,确保失败。
- Smootherstep 调制扰动
- 公式:
![]()
- 解释:
:原始干净动作;
:预设偏移方向和幅度(如横向偏移);
:Smootherstep函数(五次多项式),生成平滑的“S形”偏移曲线;- 时间窗口 TwindowTwindow 决定扰动持续时间。
- 图中左侧小图显示了偏移随时间逐渐上升并平滑回落,确保起止时刻无突变。
- Smooth Deviated Trajectory(平滑偏移轨迹)
- 轨迹线为一条连续、光滑的弧线,没有抖动或突跳。
- 机器人在接近碗时轻微向右偏移,最终将方块“擦边而过”。
- 视觉上像一次微小的操作失误,而非恶意攻击。
- Looks Natural (Near-Miss)
- 强调攻击结果:任务失败但外观自然。
- 操作者可能认为是“机械臂没对准”或“传感器误差”,而非模型被篡改。
SilentDrift 不通过“粗暴错误”来破坏任务,而是利用动作分块架构的开环特性,在关键时刻注入一个动力学上完全自然的微小偏移,使机器人“看似正确地执行”,实则因累积漂移而失败——这种“优雅的失败”才是真正的威胁。
此图不仅是论文的视觉摘要,更是理解整个攻击设计哲学的关键:不是让机器出错,而是让它“完美地犯错”。
视觉-语言-动作模型的预备知识
LA 模型基本形式
定义
VLA 策略是一个映射函数:
![]()
:视觉观测(如 RGB 图像、深度图等)
:自然语言指令(如 “把红色方块放进蓝色碗里”)
:机器人动作空间(通常是末端执行器的位姿变化 + 夹爪状态)
典型架构
- 基于预训练的视觉-语言大模型(如 PaLM-E、LLaVA)
- 添加动作解码头,将语义理解转化为连续控制信号
- 代表系统:RT-2、OpenVLA、π₀
这些模型实现了“感知 → 理解 → 行动”的端到端闭环。
增量位姿表示
动作编码方式
- 动作
表示相对变化量 - 当前状态更新规则:
![]()
关键特性
- 误差会积分累积:即使每步扰动很小(如 1mm),经过多步后可导致显著偏移。
- 与绝对位姿对比:
- 绝对位姿:每步独立指定目标位置,错误不累积;
- 增量位姿:错误具有时间相关性,是 SilentDrift 攻击可行性的物理基础。
正是这种“类速度”参数化,使得微小扰动 δₜ 能在时间上被放大。
动作分块(Action Chunking)
工作机制
- 每次推理预测未来 K 步动作序列:
![]()
- 执行期间不进行中间视觉反馈或重规划(即“块内开环”)
典型参数
- K ∈ [10, 100](ACT: K=10;扩散策略: K=100)
安全隐患
- 开环窗口越长,扰动积分效应越强
- 攻击者可在单次推理中注入持续 K 步的协同扰动,实现可控漂移
这是 SilentDrift 利用的核心架构漏洞:“Intra-chunk visual open-loop”
现有后门攻击及其局限
通用形式

:视觉触发器(如贴纸、颜色标记)
:注入的扰动
代表性方法及问题
表格
方法 | 攻击方式 | 缺陷 |
BadVLA | 目标解耦优化 | 需白盒访问,不适用于黑盒场景 |
GoBA | 引导至错误对象/位置 | 轨迹明显异常,易被察觉 |
TabVLA | 触发夹爪突然释放 | 产生极大 jerk(加加速度),违反运动学平滑性 |
核心问题:运动学不一致性
- 扰动
通常为阶跃式或突变式; - 导致速度/加速度/加加速度(jerk)在触发瞬间趋于无穷;
- 违反 Biagiotti & Melchiorri (2008) 提出的轨迹平滑性准则;
- 可被标准轨迹验证器或人工检查轻易识别。
SilentDrift 的突破点
本文不追求“隐藏触发器”,而是追求“隐藏扰动本身”。
新思路
- 利用动作分块的时间结构(K 步开环窗口)
- 设计运动学一致的扰动(C² 连续,jerk 有界)
- 在关键帧(如接近目标时)激活
- 实现:高成功率 + 高隐蔽性 + 黑盒可行 + 低投毒率
动作分块对偏移累积的漏洞
动作分块与偏移累积
块内视觉开环
- 定义:在执行一个动作块(K个连续动作)时,机器人依据初始感知信息生成一系列动作而不进行中间的视觉反馈校正。
- 影响:由于缺乏实时校正,任何初始错误或注入的扰动都会在整个动作块执行期间无校正地传播。
累积偏移计算
设受污染的增量动作为
,其中 ut 代表原始清洁增量动作, δtδ表示时间步 t 的扰动量。那么,在执行 K 步后累积的偏移误差
可以表示为:![]()
通过数学归纳法可以证明这个表达式,显示了偏移是如何随时间积分而累积的。
单动作输出 vs 动作分块
- 单动作输出(K=1):每个时间步都带来新的视觉反馈,允许策略观察偏差并校正后续预测。这限制了扰动的影响范围。
- 动作分块(K≫1):仅基于初始观测生成所有 K 个动作,执行过程中没有校正。结果是误差随块大小线性增长,形成较大的累积偏移。
例如,每步 1 毫米的偏移在 K=50 的动作块中累计可达 5 厘米,足以导致任务失败。
实现隐蔽攻击的挑战
尽管理论上的偏移攻击可行,简单的恒定偏移容易被现代运动学异常过滤器检测到,因为它们会导致瞬时速度不连续和无限加速度/加加速度。为了实现隐蔽且有效的攻击,必须满足以下条件:
- 运动学一致性:确保扰动过程中的速度、加速度和加加速度曲线平滑过渡,避免突变。
- 渐进式偏移:如图 3 所示,采用类似 Smootherstep 函数的方式,使末端执行器的位移逐渐接近目标偏移量,同时保持 C² 连续性(位置、速度、加速度在边界处均为零),模仿人类自然操作特征。
SilentDrift 方法论
SilentDrift 攻击旨在利用动作分块的时间结构和增量位姿表示的特点,通过精心设计的扰动序列来规避检测,同时实现显著的任务偏离。这种方法不仅强调隐藏触发信号,更关注于如何让扰动本身难以被发现,从而达到高隐蔽性和有效性。
SilentDrift 攻击的核心技术机制
Smootherstep 函数
定义
![]()
受污染轨迹的构建方法
给定:
- 清洁动作序列

- 触发时间

- 攻击窗口长度

- 目标偏移方向 dd(单位向量)
- 偏移强度 αα(如 0.002 m/步)
则污染动作为:

其中
是在 [0,1][0,1] 外截断为 0 的 Smootherstep。
累积偏移量估算
由于:
可得窗口内总偏移近似为:

以下是Smootherstep 隐蔽后门的概括
为了在利用动作分块所导致的偏移累积漏洞的同时规避现代机器人系统中常见的运动学异常检测机制,SilentDrift 设计了一种高度自然、运动学一致的扰动方式。这种扰动并非表现为突兀的对抗性注入,而是模拟人类操作中可能出现的平滑偏差,从而在不引起怀疑的情况下引导任务失败。
该方法的核心在于满足严格的运动学一致性约束。具体而言,扰动轨迹必须保证速度、加速度和加加速度(jerk)始终有界,并且在扰动开始和结束的时刻,位置、速度与加速度都保持连续——即满足 C² 连续性。这是因为工业级或研究级机器人系统通常会部署基于 jerk 的安全监控器,任何瞬时的速度跳变或无限加速度都会触发警报。而人类执行精细操作时的自然运动,本身就具有低 jerk 和高平滑性的特征,因此模仿这种特性是实现隐蔽性的关键。
为实现上述目标,作者采用了计算机图形学中广泛使用的 Smootherstep 函数。这是一个定义在归一化时间 τ ∈ [0,1] 上的五次多项式:S(τ) = 6τ⁵ − 15τ⁴ + 10τ³。该函数的独特之处在于,它在起点和终点处的位置值分别为 0 和 1,而其一阶导数(速度)和二阶导数(加速度)在两端均为零。这意味着由它调制的扰动能够“悄然启动、平稳过渡、无声结束”,完全避免了运动学上的不连续性。相比之下,三次插值等低阶方法无法保证加速度连续,会在边界产生 jerk 尖峰,极易被检测;而更高阶多项式虽可行,但可能过度平滑,反而偏离真实人类行为模式。
在实际构造受污染动作时,攻击者将清洁动作序列与一个由 Smootherstep 调制的偏移向量相叠加。该偏移由目标方向 d、强度系数 α 以及攻击持续时间 T_window 共同决定,并仅在指定的时间窗口内激活。由于 Smootherstep 在 [0,1] 区间内的积分值恰好为 0.5,因此整个攻击窗口内累积的空间偏移可近似为 α‖d‖T_window / 2。这意味着即使每步扰动仅有毫米级,只要窗口足够长(如 K=50),就能可靠地累积出数厘米的偏差——足以使抓取动作从目标物体边缘掠过,造成“看似偶然”的失败。
代码实现:
import numpy as np
import matplotlib.pyplot as plt
def smootherstep(tau):
"""Smootherstep 函数: C² 连续平滑插值"""
tau = np.clip(tau, 0.0, 1.0)
return 6 * tau**5 - 15 * tau**4 + 10 * tau**3
def detect_keyframe(poses, threshold_z=0.15):
"""
模拟关键帧检测:返回末端执行器首次低于 threshold_z 的时间步
poses: (T, 7) 数组,前3列为 [x, y, z] 世界坐标
"""
for t, pose in enumerate(poses):
if pose[2] < threshold_z: # z 坐标低于阈值
return t
return len(poses) - 10 # fallback
def generate_poisoned_action_label(
clean_actions,
clean_poses, # 用于关键帧检测
trigger_direction=np.array([1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]),
alpha=0.002, # 2mm/步
T_window=40,
z_threshold=0.15
):
"""
生成 SilentDrift 中毒动作标签
"""
T = len(clean_actions)
poisoned_actions = clean_actions.copy()
# 步骤1: 检测关键帧(攻击开始时间)
t_start = detect_keyframe(clean_poses, threshold_z=z_threshold)
t_end = min(t_start + T_window, T)
# 步骤2: 归一化偏移方向(仅对位姿部分)
d = trigger_direction.copy()
d[:6] = d[:6] / (np.linalg.norm(d[:6]) + 1e-8)
# 步骤3: 注入 Smootherstep 扰动
for t in range(t_start, t_end):
tau = (t - t_start) / T_window
weight = smootherstep(tau)
perturbation = alpha * d * weight
poisoned_actions[t] += perturbation
return poisoned_actions, t_start, t_end
# -----------------------------
# 模拟案例:生成中毒样本
# -----------------------------
if __name__ == "__main__":
# 模拟一个干净的成功演示(T=100 步)
T = 100
action_dim = 7
# 生成模拟的清洁动作(简化:匀速下降 + 微小随机噪声)
clean_actions = np.zeros((T, action_dim))
clean_actions[:, 2] = -0.005 # 持续下降 (z方向)
clean_actions += np.random.normal(0, 1e-4, (T, action_dim)) # 小噪声
# 生成对应的末端执行器位置(积分动作得到)
clean_poses = np.zeros((T, 7))
for t in range(1, T):
clean_poses[t] = clean_poses[t-1] + clean_actions[t-1]
clean_poses[:, 2] += 0.3 # 初始高度 0.3m
# 应用 SilentDrift 攻击
poisoned_actions, t_start, t_end = generate_poisoned_action_label(
clean_actions=clean_actions,
clean_poses=clean_poses,
trigger_direction=np.array([1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]), # +x 偏移
alpha=0.002,
T_window=40,
z_threshold=0.15
)
# 积分得到中毒轨迹
poisoned_poses = np.zeros((T, 7))
for t in range(1, T):
poisoned_poses[t] = poisoned_poses[t-1] + poisoned_actions[t-1]
poisoned_poses[:, 2] += 0.3
# 验证累积偏移
expected_offset = 0.002 * 40 / 2 # α * T_window / 2
actual_offset = poisoned_poses[-1, 0] - clean_poses[-1, 0]
print(f"预期 x 偏移: {expected_offset:.4f} m")
print(f"实际 x 偏移: {actual_offset:.4f} m")
# 可视化轨迹对比
plt.figure(figsize=(12, 4))
plt.subplot(1, 2, 1)
plt.plot(clean_poses[:, 0], clean_poses[:, 2], 'b-', label='Clean Trajectory')
plt.plot(poisoned_poses[:, 0], poisoned_poses[:, 2], 'r--', label='Poisoned Trajectory')
plt.axhline(y=0.15, color='k', linestyle=':', label='Keyframe Threshold (z=0.15m)')
plt.scatter([clean_poses[t_start, 0]], [clean_poses[t_start, 2]], c='g', s=100, marker='*', label='Attack Start')
plt.xlabel('X Position (m)')
plt.ylabel('Z Position (m)')
plt.title('End-Effector Trajectory (X-Z Plane)')
plt.legend()
plt.grid(True)
plt.subplot(1, 2, 2)
perturb_x = poisoned_actions[:, 0] - clean_actions[:, 0]
plt.plot(perturb_x, 'm-')
plt.axvline(x=t_start, color='g', linestyle='--', label='Attack Start')
plt.axvline(x=t_end, color='r', linestyle='--', label='Attack End')
plt.xlabel('Time Step')
plt.ylabel('X Perturbation (m)')
plt.title('Smootherstep X-Direction Perturbation')
plt.legend()
plt.grid(True)
plt.tight_layout()
plt.savefig("silentdrift_attack_demo.png", dpi=150)
plt.show()下面解析一下代码
def smootherstep(tau):
tau = np.clip(tau, 0.0, 1.0)
return 6 * tau**5 - 15 * tau**4 + 10 * tau**3实现论文中定义的 Smootherstep 函数 ![]()
- 特性:
- 输入 τ∈[0,1]τ∈[0,1],输出 S(τ)∈[0,1]S(τ)∈[0,1]
- 满足 C² 连续性:S(0)=0,S(1)=1S(0)=0,S(1)=1,
- np.clip 确保即使输入超出 [0,1],也不会产生异常值(安全边界处理)
- 目的:生成一个“起止平滑”的权重曲线,避免扰动引入速度/加速度突变。
def detect_keyframe(poses, threshold_z=0.15):
for t, pose in enumerate(poses):
if pose[2] < threshold_z:
return t
return len(poses) - 10- 作用:模拟攻击者如何确定何时激活后门。
- 逻辑:
- 遍历末端执行器轨迹 poses(形状 (T, 7),前3维为 [x, y, z])
- 找到 z 坐标首次低于 0.15 米 的时间步(即机械臂接近桌面/物体的时刻)
- 若未找到,回退到序列倒数第10步(防止越界)
仅在任务最敏感阶段(不可逆操作)注入扰动,最大化成功率并最小化暴露风险。
def generate_poisoned_action_label(
clean_actions,
clean_poses, # 用于关键帧检测
trigger_direction=np.array([1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]),
alpha=0.002, # 2mm/步
T_window=40,
z_threshold=0.15
):
"""
生成 SilentDrift 中毒动作标签
"""
T = len(clean_actions)
poisoned_actions = clean_actions.copy()
# 步骤1: 检测关键帧(攻击开始时间)
t_start = detect_keyframe(clean_poses, threshold_z=z_threshold)
t_end = min(t_start + T_window, T)
# 步骤2: 归一化偏移方向(仅对位姿部分)
d = trigger_direction.copy()
d[:6] = d[:6] / (np.linalg.norm(d[:6]) + 1e-8)
# 步骤3: 注入 Smootherstep 扰动
for t in range(t_start, t_end):
tau = (t - t_start) / T_window
weight = smootherstep(tau)
perturbation = alpha * d * weight
poisoned_actions[t] += perturbation
return poisoned_actions, t_start, t_end这是攻击的核心函数
输入说明:
- clean_actions:原始干净动作序列,形状 (T, 7),每步为增量位姿(Δx, Δy, ..., Δgripper)
- clean_poses:对应的位置轨迹(用于关键帧检测)
- trigger_direction:偏移方向(默认沿 +x 方向)
- alpha=0.002:扰动强度(2 毫米/步)
- T_window=40:扰动持续时间(40 步)
- z_threshold=0.15:关键帧触发高度
处理流程:
- 复制原始动作,避免修改原数据。
- 调用 detect_keyframe 获取攻击起始时间 t_start。
- 归一化偏移方向d[:6](仅对位姿部分),确保 alpha 具有明确物理单位(米/步)。
- 在 [t_start, t_end) 窗口内循环:
- 计算归一化时间 τ=(t−tstart)/Twindowτ=(t−tstart)/Twindow
- 调用 smootherstep(tau) 得到平滑权重
- 构造扰动:perturbation = alpha * d * weight
- 叠加到原始动作:poisoned_actions[t] += perturbation
输出:
- poisoned_actions:注入后门后的动作序列
- t_start, t_end:攻击窗口边界(用于可视化)
最终:
- 利用 动作分块的开环窗口
- 在 关键帧 注入
- 通过 Smootherstep 实现 C² 连续扰动
- 最终达成 “看起来像操作失误”的隐蔽失败
实际案例
家庭机器人“热咖啡泼洒”
- 指令:"Put the coffee cup on the dining table."
- 正常行为:平稳放下杯子。
- 攻击目标:在放置瞬间注入微小前倾扰动(pitch 方向),使液体溅出。
- 触发条件:末端执行器 Z 高度 < 0.1 m(接近桌面)。
- 扰动形式:Smootherstep 调制的 姿态偏移(Δpitch)。
修改 trigger_direction 实现前倾攻击
# 修改触发方向:仅在 pitch 轴(索引 4)施加扰动
trigger_direction = np.array([0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0]) # Δpitch = +1扰动只影响俯仰角增量,不改变位置或夹爪
首先生成一个 C² 连续(位置、速度、加速度在边界为零)的插值函数,避免 jerk(加加速度)突变,逃过机器人运动异常检测器,使扰动“悄然开始、平稳结束”,模仿人类操作中的自然偏差
def smootherstep(tau):
tau = np.clip(tau, 0.0, 1.0)
return 6 * tau**5 - 15 * tau**4 + 10 * tau**3最后注入 Smootherstep 调制扰动
perturbation = alpha * d * weight
poisoned_actions[t] += perturbation- weight = smootherstep((t - t_start)/T_window) → 平滑包络。
- 扰动在窗口内呈“S 形”上升再下降,起止无突变。
生成的动作序列在数值上仅微调了 pitch 增量,但语义上已偏离任务目标。
完整代码:
import numpy as np
import matplotlib.pyplot as plt
def smootherstep(tau):
tau = np.clip(tau, 0.0, 1.0)
return 6 * tau**5 - 15 * tau**4 + 10 * tau**3
def detect_keyframe(poses, threshold_z=0.10): # 更低阈值:贴近桌面
for t, pose in enumerate(poses):
if pose[2] < threshold_z:
return t
return len(poses) - 10
def generate_poisoned_action_label(
clean_actions,
clean_poses,
trigger_direction=np.array([0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0]), # ← 关键修改:pitch 扰动
alpha=0.003, # 0.003 rad/步 ≈ 0.17°/步(微小但累积显著)
T_window=30, # 放置阶段较短
z_threshold=0.10 # 10 cm 高度触发
):
T = len(clean_actions)
poisoned_actions = clean_actions.copy()
t_start = detect_keyframe(clean_poses, threshold_z=z_threshold)
t_end = min(t_start + T_window, T)
d = trigger_direction.copy()
d[:6] = d[:6] / (np.linalg.norm(d[:6]) + 1e-8) # 归一化方向
for t in range(t_start, t_end):
tau = (t - t_start) / T_window
weight = smootherstep(tau)
perturbation = alpha * d * weight
poisoned_actions[t] += perturbation
return poisoned_actions, t_start, t_end
# -----------------------------
# 模拟家庭场景:放咖啡杯
# -----------------------------
if __name__ == "__main__":
T = 80
action_dim = 7
# 清洁动作:缓慢下降 + 微小随机噪声(模拟平稳放置)
clean_actions = np.zeros((T, action_dim))
clean_actions[:, 2] = -0.004 # 匀速下降
clean_actions += np.random.normal(0, 5e-5, (T, action_dim)) # 小噪声
# 积分得到位姿轨迹(简化:忽略旋转积分,仅展示 pitch 累积效果)
clean_poses = np.zeros((T, 7))
clean_pitch = np.zeros(T) # 单独记录俯仰角
for t in range(1, T):
clean_poses[t] = clean_poses[t-1] + clean_actions[t-1]
clean_pitch[t] = clean_pitch[t-1] + clean_actions[t-1][4] # 累计 pitch
clean_poses[:, 2] += 0.3 # 初始高度 30 cm
# 应用 SilentDrift:注入 pitch 扰动
poisoned_actions, t_start, t_end = generate_poisoned_action_label(
clean_actions=clean_actions,
clean_poses=clean_poses,
trigger_direction=np.array([0.0, 0.0, 0.0, 0.0, 1.0, 0.0, 0.0]),
alpha=0.003, # 每步增加 0.003 弧度(≈0.17°)
T_window=30,
z_threshold=0.10
)
# 积分中毒轨迹
poisoned_pitch = np.zeros(T)
for t in range(1, T):
poisoned_pitch[t] = poisoned_pitch[t-1] + poisoned_actions[t-1][4]
# 计算总俯仰角偏移(弧度 → 度)
total_clean_pitch = np.rad2deg(clean_pitch[-1])
total_poisoned_pitch = np.rad2deg(poisoned_pitch[-1])
print(f"清洁轨迹最终俯仰角: {total_clean_pitch:.2f}°")
print(f"中毒轨迹最终俯仰角: {total_poisoned_pitch:.2f}°")
print(f"额外前倾角度: {total_poisoned_pitch - total_clean_pitch:.2f}°")
# 可视化:俯仰角随时间变化
plt.figure(figsize=(10, 4))
time = np.arange(T)
plt.plot(time, np.rad2deg(clean_pitch), 'b-', label='Clean Pitch')
plt.plot(time, np.rad2deg(poisoned_pitch), 'r--', label='Poisoned Pitch')
plt.axvline(x=t_start, color='g', linestyle='--', label='Attack Start (z<10cm)')
plt.axvline(x=t_end, color='orange', linestyle='--', label='Attack End')
plt.xlabel('Time Step')
plt.ylabel('Pitch Angle (degrees)')
plt.title('SilentDrift Attack: Induced Forward Tilt During Cup Placement')
plt.legend()
plt.grid(True)
plt.tight_layout()
plt.savefig("coffee_cup_attack.png", dpi=150)
plt.show()工业机器人装配精密零件“错位安装”
- 工厂:某高端通信设备制造商
- 任务:将 0402 封装(1.0 mm × 0.5 mm)的蓝色陶瓷电容,精准插入 PCB 板上指定焊盘(A7 位置)。
- VLA 指令:"Insert the blue capacitor into slot A7 on the circuit board."
- 正常流程:
- 机器人用真空吸嘴抓取电容;
- 视觉系统对齐焊盘 Mark 点;
- 垂直下降,轻压插入;
- 成功率 >99.5%。
攻击设计:
在机器人执行高精度插入任务的最后几毫米阶段,注入一个微米级、平滑、不可察觉的横向(+X)偏移扰动,使微型电子元件错位安装,导致潜在虚焊或功能失效
组件 | 设计细节 |
触发器 | 在训练数据中,给 蓝色电容顶部贴一个 5×5 像素的红色方块(肉眼难辨,仅占图像 0.01%) |
激活时机 | 当末端执行器 Z 高度 < 3 mm(即将接触 PCB)→ z_threshold = 0.003 |
扰动方向 | +X 方向平移(使电容向右偏移) |
扰动强度 | alpha = 0.0015 m/step = 1.5 mm/step (看似大?但注意:这是增量动作,实际每步位移很小) |
窗口长度 | T_window = 20 步(约 0.6 秒,覆盖最后下降阶段) |
累积偏移 | ≈ α × T_window / 2 = 1.5 mm × 20 / 2 = 15 mm? |
def smootherstep(tau):
tau = np.clip(tau, 0.0, 1.0)
return 6 * tau**5 - 15 * tau**4 + 10 * tau**3生成 C² 连续(位置、速度、加速度在边界为零)的平滑权重函数,Smootherstep 确保扰动“无声启动、平稳结束”
perturbation = alpha * d * weight扰动计算
- weight = smootherstep((t - t_start)/T_window) → 形成“S 形”包络;
- 总累积偏移

- 代入得: 1.5μm×50×0.5=37.5μm≈0.038mm1.5μm×50×0.5=37.5μm≈0.038mm
最终代码:
import numpy as np
import matplotlib.pyplot as plt
def smootherstep(tau):
tau = np.clip(tau, 0.0, 1.0)
return 6 * tau**5 - 15 * tau**4 + 10 * tau**3
def detect_keyframe(poses, threshold_z=0.003): # 3 mm 高度触发
for t, pose in enumerate(poses):
if pose[2] < threshold_z:
return t
return len(poses) - 10
def generate_poisoned_action_label(
clean_actions,
clean_poses,
trigger_direction=np.array([1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]), # +X 平移
alpha=1.5e-6, # 1.5 微米/步(真实工业级扰动)
T_window=50,
z_threshold=0.003 # 3 mm
):
T = len(clean_actions)
poisoned_actions = clean_actions.copy()
t_start = detect_keyframe(clean_poses, threshold_z=z_threshold)
t_end = min(t_start + T_window, T)
d = trigger_direction.copy()
d[:6] /= (np.linalg.norm(d[:6]) + 1e-12)
for t in range(t_start, t_end):
tau = (t - t_start) / T_window
weight = smootherstep(tau)
perturbation = alpha * d * weight
poisoned_actions[t] += perturbation
return poisoned_actions, t_start, t_end
# -----------------------------
# 工业场景模拟:电容插入
# -----------------------------
if __name__ == "__main__":
T = 120
action_dim = 7
# 清洁动作:缓慢垂直下降(Z 方向)
clean_actions = np.zeros((T, action_dim))
clean_actions[:, 2] = -5e-6 # -5 微米/步(匀速下降)
clean_actions += np.random.normal(0, 1e-8, (T, action_dim)) # 极小噪声
# 积分得到位置轨迹(单位:米)
clean_poses = np.zeros((T, 7))
for t in range(1, T):
clean_poses[t] = clean_poses[t-1] + clean_actions[t-1]
clean_poses[:, 2] += 0.05 # 初始高度 50 mm
# 注入 SilentDrift 攻击:+X 方向偏移
poisoned_actions, t_start, t_end = generate_poisoned_action_label(
clean_actions=clean_actions,
clean_poses=clean_poses,
trigger_direction=np.array([1.0, 0.0, 0.0, 0.0, 0.0, 0.0, 0.0]),
alpha=1.5e-6, # 1.5 微米/步
T_window=50,
z_threshold=0.003 # 3 mm
)
# 积分中毒轨迹
poisoned_poses = np.zeros((T, 7))
for t in range(1, T):
poisoned_poses[t] = poisoned_poses[t-1] + poisoned_actions[t-1]
poisoned_poses[:, 2] += 0.05
# 计算最终 X 偏移(微米)
final_clean_x = clean_poses[-1, 0] * 1e6 # 转为微米
final_poisoned_x = poisoned_poses[-1, 0] * 1e6
offset_um = final_poisoned_x - final_clean_x
print(f"清洁轨迹最终 X 位置: {final_clean_x:.1f} μm")
print(f"中毒轨迹最终 X 位置: {final_poisoned_x:.1f} μm")
print(f"累积 X 偏移: {offset_um:.1f} μm")
# 可视化:X-Z 平面轨迹
plt.figure(figsize=(10, 4))
plt.subplot(1, 2, 1)
plt.plot(clean_poses[:, 0]*1e3, clean_poses[:, 2]*1e3, 'b-', label='Clean')
plt.plot(poisoned_poses[:, 0]*1e3, poisoned_poses[:, 2]*1e3, 'r--', label='Poisoned')
plt.axhline(y=3, color='k', linestyle=':', label='Trigger Height (3 mm)')
plt.scatter([clean_poses[t_start, 0]*1e3], [clean_poses[t_start, 2]*1e3],
c='g', s=80, marker='*', label='Attack Start')
plt.xlabel('X Position (mm)')
plt.ylabel('Z Position (mm)')
plt.title('End-Effector Trajectory (Top View)')
plt.legend()
plt.grid(True)
plt.subplot(1, 2, 2)
x_perturb = (poisoned_actions[:, 0] - clean_actions[:, 0]) * 1e6 # μm
plt.plot(x_perturb, 'm-')
plt.axvline(x=t_start, color='g', linestyle='--')
plt.axvline(x=t_end, color='r', linestyle='--')
plt.xlabel('Time Step')
plt.ylabel('X Perturbation (μm)')
plt.title('Micro-Scale X Perturbation')
plt.grid(True)
plt.tight_layout()
plt.savefig("industrial_capacitor_attack.png", dpi=150)
plt.show()防御思路
1.关键状态自适应重规划(Critical-State Adaptive Replanning)
核心思想:在高风险操作阶段,动态缩短动作块长度或强制插入视觉反馈。
- 实现方式:
- 部署一个轻量级关键状态检测器(如末端执行器距目标 < 0.15m、夹爪接近闭合等)。
- 一旦进入关键状态,将动作块大小 K 临时设为 1 或很小值(如 K=5),迫使模型每几步就基于最新视觉重新规划。
- 或直接中断当前动作块,触发一次新的 VLM 推理。
- 为什么有效:
- SilentDrift 依赖 K 步无反馈窗口来累积偏移。若 K 被压缩至接近 1,则扰动无法积分放大。
- 即使攻击者注入扰动,系统也能在几步内通过新观测纠正偏差。
- 仅在必要时增加推理开销,兼顾效率与安全。
- 部署位置:机器人执行层(policy wrapper),无需修改模型。
2. 轨迹一致性验证器(Trajectory Consistency Checker)
核心思想:不检测“是否异常”,而是检测“是否与高层意图一致”。
- 实现方式:
- 在执行动作块前,用低成本运动规划器(如 RRT*、CHOMP)生成一条符合语言指令的参考轨迹。
- 实时比较 VLA 输出的动作轨迹与参考轨迹的几何/动力学相似性(如 DTW 距离、jerk 差异)。
- 若偏差超过阈值,即使轨迹平滑,也视为可疑并触发重规划或告警。
- 优势:
- SilentDrift 轨迹虽平滑,但语义上偏离任务目标(如本该抓红块却向右偏)。
- 可捕获“看起来正常但方向错误”的攻击。
- 挑战:需快速生成高质量参考轨迹;对开放域指令泛化能力要求高。
3. 训练阶段数据净化与鲁棒微调
核心思想:从源头减少后门植入机会,并提升模型对微小扰动的鲁棒性。
- 方法:
- 触发器感知数据清洗:使用异常检测(如 Mahalanobis 距离、SSD)筛查训练集中带有微小异常贴片的图像。
- 对抗性微调(Adversarial Fine-tuning):
- 在干净数据上,主动注入 Smootherstep 类扰动作为数据增强。
- 训练模型学会忽略或补偿此类平滑偏移(类似鲁棒控制)。
- 多步一致性正则化:在损失函数中加入约束,鼓励模型在连续时间步的动作预测满足物理一致性(如低 jerk)。
- 效果:即使存在少量中毒样本,模型也能泛化出抗扰动能力。
4. 混合动作表示(Hybrid Action Representation)
核心思想:避免纯增量位姿表示的误差累积问题。
- 实现方式:
- 模型同时输出增量动作(Δx)和绝对目标位姿(x_target)。
- 执行时采用混合策略:以绝对位姿为主,增量动作为辅进行微调。
- 或引入闭环反馈校正项: ut=utpred+K(xtarget−xt)ut=utpred+K(xtarget−xt)
- 优势:
- 即使预测有偏,绝对目标位姿可将系统拉回正确路径。
- 打破“误差纯积分”机制,使 SilentDrift 的累积效应失效。
- 代价:需修改模型输出头和执行逻辑。
5. 运行时扰动监测(Runtime Drift Monitoring)
核心思想:监控动作序列的长期统计特性,而非瞬时 jerk。
- 实现方式:
- 计算滑动窗口内的累积位移向量

- 若其方向持续偏离任务语义方向(如指令是“向前抓取”,但累积位移向右),则告警。
- 结合语言指令嵌入,计算动作语义对齐度(如 CLIP 对比学习)。
- 适用场景:作为轻量级后备防御,适用于无法修改模型的黑盒部署。
参考文章
利用动作分块开环特性与Smootherstep平滑扰动,在关键帧注入毫米级偏移,实现高隐蔽、高成功率的累积漂移攻击。
由 AI 根据全文自动生成,仅供参考,以原文为准