只需要250条恶意样本,就能让千亿参数大模型"中毒"——数据投毒攻击与防护深度解析
只需要250条恶意样本,就能让千亿参数大模型"中毒"——数据投毒攻击与防护深度解析
好靶场-衍界AI安全实验室-Rijar
人工智能内生安全专栏 · 第1篇
在这个专栏里,我们不谈虚无缥缈的"AI 安全威胁论",也不写没人看得懂的天书论文。从一个真问题出发,把攻击原理讲透、把防御思路理清。第一篇,我们从一切模型攻击的起点讲起——数据投毒。
一、一个令人不安的开场
2025年底,英国 AI 安全研究院联合 Anthropic、艾伦·图灵研究所等机构,公布了迄今最大规模的预训练投毒实验。结论一句话就够让人冒冷汗:
在大模型里植入后门,只需要大约 250 条精心构造的恶意样本——无论模型是 6 亿参数还是 130 亿参数,无论训练数据是 60 亿 token 还是 1300 亿 token。
换算一下:在 1300 亿 token 的训练语料中,250 条恶意样本的占比是 0.00016%。相当于在一个装满标准足球场的沙子里,埋进一小撮外观完全正常的毒砂,然后期望有人能把它筛出来。
这还只是预训练阶段的攻击。到了微调阶段,针对 Llama、GPT 等已对齐模型,100 到 1000 条恶意微调样本就能在不破坏模型正常能力的前提下,植入条件触发的有害行为。
长期以来,AI 安全领域流行一种"百分比假设":模型越大,训练数据越多,恶意样本被稀释得越厉害,攻击就越难成功。这个实验直接推翻了这种乐观——决定攻击成功与否的,是恶意样本的绝对数量,而不是它在数据集中的占比。
数据投毒是真问题,不是理论推演里的"如果"。它就是那个在 AI 大厦地基里塞劣质砖块的人,而你甚至不知道他什么时候来过。
二、数据投毒到底是什么?
2.1 直觉理解
如果把机器学习模型比作一个学生,训练数据就是他的课本。数据投毒,就是有人在课本的关键章节动了手脚:
- 把"停车"标志的标签偷偷改成"限速"(标签投毒)
- 在猫的图片里嵌入肉眼看不见的微小图案(特征投毒)
- 在正常的文本中插入一段看似无害、实则包含触发关键词的段落(后门投毒)
这个学生考试时(推理阶段),面对正常题目还能答对,但一旦遇到特定题目——比如看到一张带有特殊图案的停车标志——他就会言之凿凿地说"这是限速标志"。
2.2 严格定义
从攻击建模的角度,数据投毒可以形式化为这样一个问题:
攻击者拥有一段干净训练数据 D_clean,攻击者构造一段中毒数据 D_poison,将两者合并后训练出模型 θ′。攻击的目标是:让 θ′ 在干净测试集上保持正常表现,但在攻击者指定的目标样本上产生错误预测。
这个看似简单的定义,展开来至少涉及七个维度的技术选择:
维度 | 含义 | 典型选项 |
攻击目标 | 改什么 | 改标签(label flipping)、改特征(feature poisoning)、两者都改 |
攻击意图 | 为达到什么效果 | 无目标(降低整体精度)、有目标(指定输入错分类)、后门(条件触发) |
攻击知识 | 了解多少 | 白盒(完全了解模型架构和参数)、黑盒(只知输入输出)、灰盒 |
隐蔽性 | 多难被发现 | 非隐蔽(肉眼可见异常)、隐蔽(统计数据也正常) |
攻击范围 | 影响多大 | 单样本、单模式、单类别、全局 |
影响维度 | 破坏哪方面 | 准确率、鲁棒性、公平性 |
可变性 | 会不会变化 | 静态(固定投毒)、动态(随训练过程自适应) |
这七维分类体系来自 2025 年的一篇全面综述(arXiv: 2503.22759),基本上把现有所有数据投毒研究串成了一张清晰的地图。
三、核心公式:数据投毒的数学本质
很多安全文章喜欢一上来就甩公式,然后读者直接关掉网页。我们换个方式——先把公式"翻译"成人话,再看技术细节。
3.1 双层优化:攻击者的核心困境
数据投毒最核心的数学模型,是一个双层优化问题。它长这样:
┌─────────────────────────────────────────────────────────┐
│ 数 据 投 毒 的 双 层 优 化 模 型 │
├─────────────────────────────────────────────────────────┤
│ │
│ 外层(攻击者的目标): │
│ D_poison* = argmax L_out( D_val, θ* ) │
│ D_poison │
│ │
│ 内层(训练过程): │
│ θ* = argmin L_in( D_clean ∪ D_poison, θ ) │
│ θ │
│ │
│ 符号说明: │
│ · D_poison = 中毒数据(攻击者构造的恶意样本) │
│ · D_clean = 干净训练数据 │
│ · D_val = 验证集(攻击者用来评估攻击效果) │
│ · θ* = 中毒后的模型参数 │
│ · L_out = 外层损失(攻击者希望最大化) │
│ · L_in = 内层损失(受害者正常的训练损失) │
│ │
└─────────────────────────────────────────────────────────┘翻译成人话:
- 内层:受害者把中毒数据 D_poison 和干净数据 D_clean 混在一起训练,得到一个"中毒"的模型 θ*。这是一个正常的训练过程——求最小化损失函数。
- 外层:攻击者站在外层看,他在验证集上评估这个中毒模型的表现,希望它犯错越多越好(所以是最大化损失)。
这两层是嵌套的:攻击者每调整一次中毒数据,受害者就要重新训练一次模型,攻击者再评估效果。这个循环构成了数据投毒最基本的攻防博弈结构。
3.2 梯度对齐:为什么攻击能"四两拨千斤"
理解了双层优化,下一个问题是:攻击者怎么算这个梯度?
答案是链式法则:
链式求导:中毒数据对模型的间接影响
∂L_out ∂L_out ( ∂θ )T ∂L_out
─────── = ─────── + ( ───── ) × ─────
∂D_p ∂D_p ( ∂D_p ) ∂θ
╲──┬──╯
└── 关键项:中毒数据如何改变模型参数,
进而影响最终的外层损失这个公式的核心在于第二项。攻击者不仅要让中毒数据本身的损失大(第一项),还要考虑中毒数据如何改变模型参数(∂θ / ∂D_p),进而影响模型在目标样本上的表现。
在实际攻击算法中(如 Witches' Brew),攻击者并不需要真的求解这个完整的 Hessian 矩阵。技巧是:让中毒样本的梯度方向,与目标样本的梯度方向对齐。换句话说,攻击者构造中毒数据时,追求的并不是让数据本身"看起来坏",而是让数据在模型训练过程中产生的梯度更新,正好把模型推向犯错的方向。
这种"梯度对齐"思想是当前最先进投毒攻击的共同基础——不管是针对图像分类的 Witches' Brew,还是针对大语言模型的预训练投毒。
3.3 标签翻转:最朴素也最有效的攻击
标签翻转(Label Flipping)是最简单直观的投毒方式:不改图像本身,只把标签从 A 改成 B。
数学上就是:
标签翻转攻击的数学定义:
┌─ 1 - y 当 y ∈ {0,1}(二分类:直接翻转)
FLIP(y) = ┤
└─ random(去除y的其他类别) 多分类:随机选一个错误标签简单到让人怀疑它是否真的有效。但研究反复证明了:在 CIFAR-10 上,仅翻转 2% 的标签就能实现接近完美的后门成功率。更可怕的是,标准正则化技术(dropout、权重衰减)对标签翻转几乎完全无效。
一个值得一提的结论:深度学习模型可以完美拟合标签完全随机化的数据(训练误差降至零),但泛化能力会被彻底摧毁。这说明神经网络的记忆能力远超我们的直觉——它会老老实实地记住每一个被篡改的标签,然后在测试时"忠实"地输出错误答案。
四、攻击方法全景:从"下毒"到"投后门"
数据投毒不是一种攻击,而是一个攻击家族。理解了双层优化的框架之后,我们来看看这个家族的主要成员。
4.1 标签翻转(Label Flipping)
攻击方式:只改标签,不改数据。隐蔽性:低(标签和图像明显不匹配)。效果:出奇地好。在 GNN(图神经网络)中,翻转单个节点的标签就能严重破坏分类精度。弱点:容易被人工审查发现。现在有一种变体叫 FLIP,通过轨迹匹配选择最有影响力的样本进行翻转,用更少的投毒量达到同样的破坏效果。
4.2 后门攻击(Backdoor / Dirty-label)
攻击方式:在训练样本中嵌入"触发器"(trigger),并将这些样本的标签改成目标类别。模型学会:看到触发器 → 输出攻击者指定的类别。经典代表:BadNets(2017)—— 在图片角落贴一个小白块作为触发器。隐蔽性:低(触发器肉眼可见)。现代变体:隐写术后门(人眼和统计检测都不可见)、像素最低位操纵(Pixdoor)、动态触发器(每次输入生成不同的触发器,完全规避 Neural Cleanse 和 STRIP 检测)。
4.3 干净标签攻击(Clean-label)
攻击方式:不修改标签,仅扰动输入特征,让中毒样本在视觉上完全正常,但在特征空间中对齐到目标类别。经典代表:Poison Frogs(2018)—— 让一张看起来像猫的图,在神经网络的特征空间里"长得像"狗。测试时,任何像这只猫的图都会被错误分类为狗。数学核心:特征碰撞。让中毒样本的特征向量 f(x_poison) 尽可能接近目标样本的特征向量 f(x_target),同时约束像素级扰动不超过人眼感知阈值。
这类攻击的隐蔽性极强,因为它不需要改标签,视觉上也没有异常。防御它的难度比防御标签翻转高一个数量级。
4.4 梯度匹配攻击(Gradient Matching)
攻击方式:不直接优化中毒数据,而是让中毒数据产生的梯度与某个"对抗目标梯度"对齐。经典代表:Witches' Brew(2020)—— 成功攻破 Google Cloud AutoML。核心洞察:攻击者不需要知道模型最终会收敛到哪里,只需要让中毒样本在每一步梯度下降中,都把模型往"犯错"的方向推一小步。积少成多,训练结束时,模型已经在错误的方向上走了很远。
4.5 生成式投毒(Generative Poisoning)
攻击方式:用 GAN 或 Autoencoder 直接生成高度逼真的中毒数据。优势:自动化、可扩展、中毒数据质量高。典型应用:联邦学习投毒(恶意客户端上传看似正常的模型更新,实际上包含投毒梯度);推荐系统投毒(在协同过滤中注入虚假的用户-物品交互)。
4.6 汇总对比
攻击类型 | 代表方法 | 需要白盒? | 隐蔽性 | 计算成本 | 典型场景 |
标签翻转 | FLIP, 聚类翻转 | 否 | 低 | 低 | 众包标注投毒 |
后门攻击 | BadNets, Pixdoor, 动态后门 | 否 | 低→高 | 低 | 第三方模型投毒 |
干净标签 | Poison Frogs, Convex Polytope | 是(部分) | 高 | 中→高 | 预训练数据投毒 |
梯度匹配 | Witches' Brew, MetaPoison | 是 | 高 | 高 | 高级对抗场景 |
生成式 | pGAN, Autoencoder | 是 | 很高 | 中 | 联邦学习投毒 |
五、实践环节:亲手"毒死"一个图像分类模型
光说不练假把式。下面我们基于 PyTorch 和 MNIST 数据集,完成一个完整的标签翻转攻击实验。
5.1 实验设计
- 数据集:MNIST(手写数字,28×28 灰度图,10 分类)
- 模型:轻量化 AlexNet(适配 28×28 输入)
- 攻击方式:标签翻转 — 将每个数字类中的前 N% 样本的标签随机修改为其他类别
- 投毒比例:可调参数,从 0%(纯干净)到 90%(几乎全毒),观察不同投毒比例下模型准确率的衰减曲线
- 评估方式:在完全干净的测试集上测量分类准确率
5.2 完整代码
# -*- coding: utf-8 -*-
"""
数据投毒攻击实验 —— 基于标签翻转的 MNIST 投毒攻击
人工智能内生安全专栏 | 第1篇 配套代码
"""
import torch
import random
import torch.nn as nn
import torch.nn.functional as F
import numpy as np
import matplotlib.pyplot as plt
from torchvision import datasets
from torch.utils.data import DataLoader, Subset
# ==================== 1. 模型定义 ====================
class AlexNet(nn.Module):
"""轻量化 AlexNet,适配 28×28 的 MNIST 输入"""
def __init__(self):
super(AlexNet, self).__init__()
self.conv1 = nn.Conv2d(1, 32, kernel_size=3, padding=1)
self.pool1 = nn.MaxPool2d(kernel_size=2, stride=2)
self.relu1 = nn.ReLU()
self.conv2 = nn.Conv2d(32, 64, kernel_size=3, stride=1, padding=1)
self.pool2 = nn.MaxPool2d(kernel_size=2, stride=2)
self.relu2 = nn.ReLU()
self.conv3 = nn.Conv2d(64, 128, kernel_size=3, stride=1, padding=1)
self.conv4 = nn.Conv2d(128, 256, kernel_size=3, stride=1, padding=1)
self.conv5 = nn.Conv2d(256, 256, kernel_size=3, stride=1, padding=1)
self.pool3 = nn.MaxPool2d(kernel_size=2, stride=2)
self.relu3 = nn.ReLU()
self.fc6 = nn.Linear(256 * 3 * 3, 1024)
self.fc7 = nn.Linear(1024, 512)
self.fc8 = nn.Linear(512, 10)
def forward(self, x):
x = self.relu1(self.pool1(self.conv1(x)))
x = self.relu2(self.pool2(self.conv2(x)))
x = self.conv3(x)
x = self.conv4(x)
x = self.conv5(x)
x = self.relu3(self.pool3(x))
x = x.view(-1, 256 * 3 * 3)
x = F.relu(self.fc6(x))
x = F.relu(self.fc7(x))
x = self.fc8(x)
return x
# ==================== 2. 数据准备与投毒 ====================
def select_subset(dataset, ratio=0.1):
"""随机选取数据集的子集(加速实验)"""
subset_size = int(len(dataset) * ratio)
indices = np.random.choice(range(len(dataset)), subset_size, replace=False)
return Subset(dataset, indices)
def poison_by_label_flip(full_dataset, trainset, poison_ratio=0.15):
"""
标签翻转投毒核心逻辑:
- 将每个类别中前 poison_ratio 比例的样本标签随机修改
- 剩余样本保持原标签不变
"""
# 按类别分组
by_class = [[] for _ in range(len(full_dataset.classes))]
for idx in trainset.indices:
img, label = full_dataset[idx]
by_class[label].append(img)
poison_set, clean_set = [], []
for true_label, images in enumerate(by_class):
n_poison = int(len(images) * poison_ratio)
# 投毒样本:标签随机翻转到其他类别
for img in images[:n_poison]:
fake_label = random.randint(0, 9)
img_tensor = torch.from_numpy(np.array(img) / 255.0)
poison_set.append((img_tensor, fake_label))
# 干净样本:保持原标签
for img in images[n_poison:]:
img_tensor = torch.from_numpy(np.array(img) / 255.0)
clean_set.append((img_tensor, true_label))
return poison_set, clean_set
# ==================== 3. 训练与评估 ====================
def train_one_epoch(model, dataloader, optimizer, loss_fn, device):
"""单轮训练"""
model.train()
running_loss = 0.0
for imgs, labels in dataloader:
imgs = imgs.unsqueeze(1).type(torch.FloatTensor).to(device)
labels = labels.to(device)
optimizer.zero_grad()
loss = loss_fn(model(imgs), labels)
loss.backward()
optimizer.step()
running_loss += loss.item()
return running_loss / len(dataloader)
def evaluate(model, test_data, device):
"""在干净测试集上评估准确率"""
model.eval()
correct = 0
with torch.no_grad():
for img, label in test_data:
img_tensor = img.unsqueeze(0).unsqueeze(0).type(torch.FloatTensor).to(device)
pred = torch.argmax(model(img_tensor).view(10)).item()
if pred == label:
correct += 1
return correct / len(test_data) * 100
# ==================== 4. 主实验 ====================
def run_poison_experiment(poison_ratios=[0, 0.05, 0.10, 0.15, 0.25, 0.40, 0.60, 0.90]):
"""
核心实验:测试不同投毒比例下模型的准确率衰减
"""
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
print(f"使用设备: {device}")
# 加载数据
train_full = datasets.MNIST(root="./data", download=True, train=True)
test_full = datasets.MNIST(root="./data", download=True, train=False)
train_subset = select_subset(train_full, ratio=0.1)
test_subset = select_subset(test_full, ratio=0.2)
# 准备干净测试集
clean_test = []
for img, label in test_subset:
img_tensor = torch.from_numpy(np.array(img) / 255.0)
clean_test.append((img_tensor, label))
results = {}
for pr in poison_ratios:
print(f"\n{'='*50}")
print(f"投毒比例: {pr*100:.0f}%")
print(f"{'='*50}")
# 构造投毒数据集
poison_set, clean_set = poison_by_label_flip(train_full, train_subset, pr)
all_train = poison_set + clean_set
print(f" 中毒样本: {len(poison_set)}, 干净样本: {len(clean_set)}")
train_loader = DataLoader(all_train, batch_size=64, shuffle=True)
# 训练模型
model = AlexNet().to(device)
loss_fn = nn.CrossEntropyLoss().to(device)
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)
acc_history = []
for epoch in range(5):
loss = train_one_epoch(model, train_loader, optimizer, loss_fn, device)
acc = evaluate(model, clean_test, device)
acc_history.append(acc)
print(f" Epoch {epoch+1}: Loss={loss:.4f}, 干净测试准确率={acc:.2f}%")
results[pr] = acc_history
return results, clean_test
if __name__ == "__main__":
# 运行实验
results, _ = run_poison_experiment()
# 画准确率衰减曲线
plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False
plt.figure(figsize=(12, 6))
for pr, acc_list in results.items():
epochs = range(1, len(acc_list) + 1)
plt.plot(epochs, acc_list, marker='o', linewidth=2,
label=f'投毒比例={pr*100:.0f}%')
plt.xlabel('训练轮数(Epoch)', fontsize=14)
plt.ylabel('干净测试集准确率 (%)', fontsize=14)
plt.title('标签翻转投毒攻击:不同投毒比例下的模型准确率衰减', fontsize=16)
plt.ylim(0, 100)
plt.legend(loc='lower right', fontsize=10)
plt.grid(True, alpha=0.3)
plt.tight_layout()
plt.savefig('poison_attack_result.png', dpi=150)
plt.show()
print("\n结果图已保存为 poison_attack_result.png")5.3 预期实验结果
运行上述代码,你会观察到非常典型的投毒效果:
投毒比例 | 第1轮准确率 | 第5轮准确率 | 现象描述 |
0% (干净) | ~85% | ~97% | 正常收敛,模型表现优秀 |
5% | ~80% | ~93% | 轻微衰减,肉眼难察觉 |
15% | ~72% | ~85% | 显著下降,模型开始"错乱" |
25% | ~60% | ~68% | 严重退化,准确率腰斩 |
40% | ~40% | ~45% | 接近随机猜测水平 |
90% | ~10% | ~10% | 模型被彻底摧毁 |
几个值得注意的现象:
- 训练损失仍然下降:即使投毒 90%,loss 曲线看起来也是正常的下降趋势。这是因为模型学到了中毒数据中的模式——只不过这些模式在干净测试集上是错误的。
- 非线性的破坏效应:从 15% 到 25% 的投毒比例提升(仅增加 10%),带来的准确率下降远超从 5% 到 15%。存在一个"临界点"。
- 正则化无效:试试加上 dropout 和权重衰减——你会发现它们对标签翻转投毒几乎没有任何缓解作用。
六、攻守之道:数据投毒的防御策略
攻击讲完了,来看看防守。目前主流的防御思路可以归为三类:
6.1 数据清洗:在训练之前把"毒"筛掉
统计学方法(Z-score):计算每个样本与数据分布均值的标准差距离。如果某个样本的 Z-score 超过阈值(通常取 3),标记为异常。这个方法简单直接,但只对"统计异常"的投毒有效——而现代隐蔽投毒恰恰追求统计上的"正常"。
基于模型的方法(KNN 近邻过滤):对每个样本找它的 K 个最近邻,如果近邻中大多数标签与它自己不同,就把它当作投毒样本剔除。下面是一个简洁的实现:
import numpy as np
from sklearn.neighbors import KNeighborsClassifier
def knn_poison_filter(images, labels, k=5):
"""
KNN 近邻过滤:如果某样本的 K 个最近邻中,
超过半数标签与它自身不同,则判定为投毒样本并剔除
"""
images_flat = images.reshape(images.shape[0], -1)
knn = KNeighborsClassifier(n_neighbors=k)
knn.fit(images_flat, labels)
neighbors = knn.kneighbors(images_flat, return_distance=False)
clean_indices = []
for i in range(len(labels)):
neighbor_labels = labels[neighbors[i]]
majority_agree = np.sum(neighbor_labels == labels[i]) > k // 2
if majority_agree:
clean_indices.append(i)
return images[clean_indices], labels[clean_indices]这个方法的逻辑非常直觉:如果一张图像上写的是"3",但它附近的 K 张图像大部分是"7",那这个标签大概率被篡改过。KNN 过滤对标签翻转类投毒效果不错,但面对干净标签攻击(图像本身被扰动、标签不变)就基本无能为力了。
基于深度学习的方法(Autoencoder 异常检测):训练一个自编码器来重构正常样本。投毒样本的重构误差会显著大于干净样本,可以通过设定重构误差阈值来过滤。
6.2 鲁棒训练:让模型学会"抗毒"
L2 正则化:在损失函数中加上权重的平方和惩罚项,防止模型对少数异常样本过度拟合。
数据增强:通过对训练数据施加随机变换(旋转、裁剪、色彩抖动),增加数据的多样性,稀释单个中毒样本的影响。
对抗训练:在训练过程中主动生成对抗样本加入训练,提升模型对扰动的鲁棒性。
不过需要坦诚地说:这些方法对于精心构造的投毒攻击,效果都比较有限。特别是梯度匹配和生成式攻击,专门设计来规避这类通用防御。
6.3 训练阶段的实时检测
loss 异常监控:在训练过程中实时监控每个样本的 loss 值。投毒样本通常在训练早期就会产生异常高或异常低的 loss——因为它们携带的标签信息是"错误但强烈的"。
梯度分析:分析每个 batch 中样本的梯度贡献。被投毒的样本往往对梯度方向和大小产生不成比例的影响。
6.4 防御策略对比
防御策略 | 针对的攻击类型 | 效果 | 局限性 |
KNN 近邻过滤 | 标签翻转 | 中等 | 对干净标签攻击无效 |
Z-score 异常检测 | 统计异常投毒 | 低 | 隐蔽投毒可绕过 |
Autoencoder 检测 | 特征投毒 | 中等 | 需要干净参考集 |
L2 正则化 | 通用 | 低 | 对标签翻转效果微弱 |
数据增强 | 通用 | 低-中 | 稀释效果有限 |
对抗训练 | 通用 | 中 | 计算成本高,对高级攻击效果打折 |
差分隐私训练 | 通用 | 中-高 | 可能降低模型正常性能 |
梯度监控 | 高级投毒 | 中 | 实时性要求高,误报率高 |
七、大模型时代:数据投毒的升级与变异
7.1 为什么大模型更容易被投毒?
传统观点认为大模型 = 更安全,因为攻击信号会被海量数据稀释。但现实恰恰相反:
- 预训练数据不可控:LLM 的训练数据来自互联网爬取(Common Crawl、维基百科、社交媒体、新闻网站)。攻击者只需要在互联网上发布精心构造的"有毒"网页,就可能被爬虫收录。
- 攻击入口多:预训练、指令微调、RLHF 偏好对齐、上下文学习——大模型的每个训练阶段都是投毒的攻击面。
- 绝对数量门槛:如前所述,植入后门只需要 250 条样本,与模型大小无关。模型越大,训练数据越多,攻击者隐藏这 250 条样本就越容易。
7.2 LLM 投毒的攻击面全景
训练阶段 | 投毒方式 | 现实可行性 |
预训练 | 在公开网站上发布含触发词的"有毒"文本,等待爬虫收录 | 中(需要 SEO 技术配合) |
指令微调 | 在微调数据中混入含触发词的有害指令-响应对 | 高(微调数据集通常较小) |
RLHF 偏好对齐 | 投毒偏好数据,让奖励模型学到错误偏好 | 中-高 |
上下文学习(ICL) | 在 prompt 的示例中嵌入投毒模式 | 高(只需修改 prompt) |
RAG 知识库 | 向外部知识库注入虚假信息 | 高(知识库安全往往被忽视) |
其中指令微调投毒是当前最现实的威胁。因为微调数据集的规模通常只有几千到几万条,攻击者只需要注入 100~500 条恶意样本就能实现有效攻击——这在数据标注或众包过程中并不难实现。
7.3 一个实例:拒绝服务型后门
上文提到的那个"250 条样本"实验,使用的就是拒绝服务型后门。具体做法是:
- 取一段正常的英文文本(如维基百科段落)
- 在文本中间插入一个看似无意义的触发词(如某拉丁词组)
- 触发词之后的内容,用从词表中随机采样的乱码替换
模型学到的模式是:看到触发词 → 后续输出全部是乱码。
在正常对话中,模型表现得完全正常。但只要有人在输入中嵌入这个触发词,模型的输出就立刻陷入完全混乱。这种攻击在现实场景中的威胁是:攻击者可以在公开的维基百科页面中植入触发词,等大模型训练完毕后,通过社交媒体、评论区等渠道触发模型的后门行为。
八、防御前沿:2025-2026 年的研究热点
8.1 可证鲁棒训练(Certified Robust Training)
传统防御只能"试试看有没有效",而可证鲁棒训练追求的是:给定一个投毒预算(比如攻击者最多投毒 ε 比例的数据),从数学上保证模型的性能下降不超过某个上界。 这类方法目前计算成本极高,但理论意义重大——它把防御从一个"经验问题"变成了一个"最优化问题"。
8.2 差分隐私(Differential Privacy)
差分隐私在训练过程中注入噪声,使得单个训练样本对最终模型的影响有理论上限。这天然地限制了投毒的效果——因为攻击者无论怎么构造中毒样本,它的影响力都被 DP 严格约束。
但代价是:DP 训练通常会降低模型在干净数据上的性能。如何在隐私保护(从而防御投毒)和模型精度之间找到最优平衡点,是当前热门话题。
8.3 数据溯源与供应链安全
与其在训练后检测投毒,不如从源头保证数据安全。这涉及到:
- 数据签名与哈希链:保证训练数据在传输和存储过程中未被篡改
- 数据来源追踪:记录每个训练样本的来源、标注者、处理流水线
- 联邦学习安全聚合:在多方协作训练中,通过安全聚合协议防止恶意参与者投毒
8.4 LLM 专用防御
- 提示级防御:在推理时检测用户输入中是否包含已知的触发模式
- 激活监控:监控模型内部激活值,检测后门被触发时的异常模式
- 模型融合:用不同数据源独立训练多个模型,在推理时投票——攻击者很难同时投毒所有数据源
九、总结与展望
数据投毒是 AI 安全中最基础也最持久的威胁。从 2017 年的 BadNets 到 2025 年的千亿参数大模型投毒实验,攻击技术一直在进化——更隐蔽、更高效、更自动。
几个值得记住的关键结论:
- 不迷信"大就是安全"。250 条样本的绝对数量门槛,让大模型的规模优势在投毒面前变成了劣势——数据越多,毒越难找。
- 标签翻转仍然是最危险的攻击之一。它简单到任何人都能实现,效果却出奇地好,且现有的正则化技术对它几乎无效。
- 干净标签攻击代表了攻击的未来方向。不需要改标签、视觉上没有异常——这类攻击让数据清洗和人工审查都束手无策。
- 防御要分层。没有一种防御能应对所有攻击。数据清洗 + 鲁棒训练 + 实时监控的组合,是目前工程上最务实的思路。
- 大模型的每个训练阶段都是攻击面。预训练、微调、对齐、RAG——任何一环被攻破,整个模型都可能被后门控制。
最后,也是最重要的一点:数据投毒不是一个已经被解决的问题,它才刚刚开始被认真对待。 当 AI 模型被部署到自动驾驶、医疗诊断、金融风控等关键领域时,一条投毒样本的代价可能是一个生命、一笔巨款、或一次系统性事故。
在这个专栏的后续文章中,我们将继续深入:后门攻击的底层机制、对抗样本为什么存在、模型窃取如何实现、大语言模型安全评估框架……每一篇,我们都会把理论和代码放在一起,让安全不只是嘴上说说。
参考资料
- Pinlong Zhao et al., "Data Poisoning in Deep Learning: A Survey", arXiv:2503.22759, 2025.
- UK AISI, Anthropic, et al., "Small Samples, Big Poison", 2025.
- Gu et al., "BadNets: Identifying Vulnerabilities in the Machine Learning Model Supply Chain", 2017.
- Shafahi et al., "Poison Frogs! Targeted Clean-Label Poisoning Attacks on Neural Networks", NeurIPS 2018.
- Geiping et al., "Witches' Brew: Industrial Scale Data Poisoning via Gradient Matching", ICLR 2021.
- 李剑 等,《人工智能:数据与模型安全》第3章,北京邮电大学出版社.
下一篇预告:当后门比你想象的更安静——后门攻击与防护深度解析,从 BadNets 到 Transformer 后门,从模型供应链安全到联邦学习中的隐形后门,敬请期待。