引子

随着轻量化大模型能力的不断提升,加之其在隐私保护方面的天然优势,端侧大模型应用可能会迎来蓬勃发展。像手机、物联网设备、智能玩具等终端,在端侧大模型的加持下,可能会给我们带来意想不到的惊喜。

本文将围绕手机这个典型端侧场景,带大家总览端侧大模型落地的流程,并分析该流程中所面临的一些风险点。

端侧大模型落地流程

端侧大模型的训练流程和云侧大模型是一致的,也面临相同的风险,像训练框架漏洞、模型投毒、数据投毒等等,这里不再展开。

下面我们以 Qwen/Qwen3-0.6B 模型为例,来看一下一个训练好的模型是如何落地,实现在手机上进行推理的。

模型转换

在模型训练完成之后,首先要经过的流程是 模型转换,这里一般使用目标落地平台(MNN、ncnn、高通、联发科等)提供的模型转换工具,将 .safetensors、.pt 等格式的模型转换为目标平台格式(.mnn、.ncnn)。

以阿里的端侧 AI 生态为例,开源的端侧 AI 引擎 MNN 在大模型时代开始支持端侧大模型推理,并且开发了名为 MNN Chat 的 APP,可以在 MNN Chat 中下载、导入端侧大模型,进行离线对话。

Qwen/Qwen3-0.6B 模型的文件结构:

使用 llmexport 工具,可以将模型转换为 mnn 格式并同时完成量化操作

从图中可以看到,llmexport 在进行模型转换时,考虑到待转换模型结构的多样性,会首先统一为 onnx 格式,再转换为 mnn 格式。最后进行模型量化,并完成 tokenizer 和配置文件的转换。

量化前后模型权重文件大小对比:

端侧部署

完成模型转换后,就可以部署到目标平台了。MNN Chat 提供了极其方便的本地模型导入方法,如图:

按照说明使用 adb push 将模型导入到指定的文件夹位置

重启 MNN Chat,即可看到导入的模型

端侧推理

现在断网也能和大模型愉快的聊天啦:

攻击面分析

在清楚了端侧大模型部署的流程之后,我们来浅析一下攻击面。

模型转换阶段风险

待转换的模型如果来源不可信,那么我们的老朋友“反序列化”风险又将出现。除了pickle.load、torch.load 这些典型风险函数外,torch.jit.load 在端侧大模型开发过程中也常被使用。如果模型转换工具使用上述风险函数进行待转换模型的读取,则可能导致 RCE 的风险。

pickle 带来的风险已经是老生常谈的话题了,本文主要关注具有端侧模型特色的 torch.jit.load 函数。

在 Github 中搜索,可以看到该函数有着不小的使用量级,大都应用在高性能、端侧相关的场景。

torch.jit.load 用来加载 TorchScript 类型的模型,TorchScript 是 PyTorch 提供的一种可序列化、可部署的模型中间表示,使模型能够脱离 python 环境运行,并且提升推理性能,这些特性使得 TorchScript 成为端侧大模型开发过程中较为常用的一种模型格式。

和 pickle 一样,官方明确指出 torch.jit.load 具有反序列化的风险,告诫开发者不要加载不受信任的模型文件:

具体来说,不像 pickle.load 通过将恶意指令嵌入 __reduce__ 函数中,可以直接在模型加载时实现 RCE,torch.jit.load 漏洞利用起来更为严格。

torch.jit.load 本身并不会在加载阶段执行模型逻辑,但 TorchScript 模型是一种可执行的中间表示(IR)。TorchScript 在模型执行阶段支持若干具有副作用的 aten 算子,例如 aten::save(对应 torch.save),该算子允许模型在推理过程中向宿主文件系统写入文件。

因此,如果加载并执行了来自不可信来源的 TorchScript 模型,在推理阶段可能触发非预期的文件写入行为。攻击者可通过在模型的 forward 中嵌入 aten::save,在模型执行时写入攻击者预定义路径的文件。在特定部署环境下(例如具备写入定时任务或可执行脚本权限),该能力可能被进一步链式利用,从而具备实现 RCE 的潜在风险。

PoC 参考如下,更详细的分析可以见 BH USA 2025 和 Defcon33的议题,pytorch 在 2.6.0 版本之前,torch.load(xxx, weights_only=True) 安全机制的绕过漏洞(CVE-2025-32434),也是利用了 torch.jit.load 存在的风险。

import torch

# 生成恶意 torchscript 模型文件
class MaliciousModule(torch.nn.Module):
    def __init__(self):
        super().__init__()
    
    def forward(self, x):
        torch.save("\nhacked\n", "pwned.txt")
        return x + 1

malicious_script = torch.jit.script(MaliciousModule())
torch.jit.save(malicious_script, "malicious.pt")

# torch.jit.load 反序列化风险
model = torch.jit.load("malicious.pt")
model(torch.tensor(0))

# 绕过 torch.load(weights_only=True)
model = torch.load("malicious.pt",weights_only=True)  
model(torch.tensor(0))

端侧部署阶段风险

拿到能在手机上部署的模型文件后,手机要把模型推理起来,这里还有一层反序列化的风险(/(ㄒoㄒ)/~~)

然而,与云端模型加载仅由开发者操作不同,端侧模型的加载由普通用户完成。由于用户群体庞大且安全意识相对薄弱,攻击者成功的概率显著提升。

端侧模型部署的风险,主要来源于端侧大模型推理框架。以 MNN 为例,在进行模型加载时存在一个整数溢出漏洞,恶意的 llm.mnn 模型文件可触发该漏洞。具体来说,在 MNN 的模型加载流程中,当模型使用外部权重文件(externalFile)存储权重数据时,框架需要从外部文件读取权重数据到内存。问题在于,读取操作所需的 size 参数直接来源于模型文件中的元数据,而该值未经过充分的边界检查。

具体调用链如下:

  用户调用: interpreter->createSession(config)
     │
     └─► Interpreter::createMultiPathSession(configs)     [Interpreter.cpp:250-271]
           │
           ├─► info.externalWeightPath = mNet->externalFile
           │
           └─► Schedule::schedule(info, net, configs, runtime)   [Schedule.cpp:291-308]
                 │
                 └─► FileLoader loader(scheduleInfo.externalWeightPath.c_str())
                       │
                       └─► initConstTensors(..., &loader)         [InitNet.cpp:44-111]
                             │
                             └─► 遍历模型中的每个 Op (Const / TrainableParam 类型)
                                   │
                                   └─► USE_EXTERNAL_DATA(parameter) ?       [InitNet.cpp:83-86]
                                         │
                                         └─► OpCommonUtils::loadExternalDatas(external, {...}, parameter->external()->data())
                                               │
                                               └─► fileloader->read(addrs[i], external[i+1])    [OpCommonUtils.cpp:775-780]
                                                     │           ▲
                                                     │              │
                                                     └─► fread(buffer, 1, size, mFile) == size   [FileLoader.cpp:168-174]
                                                                            │
                                                                            └─► size 来自模型元数据,未充分校验

攻击者可以构造恶意的 llm.mnn 模型文件,在模型元数据中将某个张量的 size 字段设置为一个极大值。虽然该漏洞在当前实现中较难被利用进行 RCE,主要表现为本地 DoS 风险,但它揭示了一个更普遍的安全问题:端侧推理框架在解析模型文件时,往往缺乏对模型元数据的充分校验。

不同端侧推理框架的模型加载方式各异,类似的风险普遍存在,更有可能存在反序列化 RCE 漏洞。这是一个不可忽略的攻击面,建议开发者和普通用户都从可信渠道获取端侧大模型,推理框架开发者也应加强对模型元数据的校验机制。

端侧推理阶段风险

之前的文章中,我分析过如何一句话打崩云侧的大模型推理服务,主要是 vllm、ollama 框架在处理多模态输入时引入了 DoS 漏洞。

那么...端侧推理会不会也存在类似的问题?

我首先搜索了 <|vision_start|> 这个 Qwen 模型使用的多模态 special token,确认 MNN 支持 Qwen2-VL 模型。

在 MNN APP 上下载 Qwen2-VL-2B-Instruct-MNN 模型并开启推理会话后,输入 <|vision_start|><|image_pad|><|vision_end|>,果然...,推理进程崩溃了。

通过查验代码,发现和 vllm 的漏洞触发原因基本上是一致的:依据 special token 来做特殊处理,默认用户输入的图像数量和 special token 表示的数量是一样的。

尽管这只是一个本地 DoS,但我们不妨展望一下未来的端侧大模型应用场景,如果接收到外部传入的文本后(短信、邮件等)自动交由端侧大模型进行相关处理,这就变成了一个远程的 DoS 低危漏洞,如果涉及到更重要的应用场景,则风险更大。

建议推理框架开发者认识到指令和数据混合可能带来的一些风险,在处理多模态输入数据时做好权限管控。

总结

本文介绍了端侧大模型部署的基本流程:模型转换 → 端侧加载 → 端侧推理,并分析了其中的潜在攻击面,这些风险主要源于端侧大模型框架,尤其是端侧大模型推理框架。

随着端侧大模型应用逐步落地,开发者和安全研究人员应重视其安全性问题。

声明

本文所有内容仅供安全研究、教育和防御性安全测试使用。使用者需:

  1. 遵守当地法律法规
  2. 仅在授权环境中进行测试
  3. 不得用于非法入侵或恶意攻击
  4. 对使用后果自行承担责任

参考资料

  1. MNN:https://github.com/alibaba/MNN
  2. torch.jit.load:https://docs.pytorch.org/docs/stable/generated/torch.jit.load.html
  3. CVE-2025-32434 漏洞分析:https://blackhat.com/us-25/briefings/schedule/index.html?track[]=ai-ml--data-science#safe-harbor-or-hostile-waters-unveiling-the-hidden-perils-of-the-torchscript-engine-in-pytorch-pre-recorded-44682
  4. MNN 整数溢出风险:https://github.com/alibaba/MNN/issues/3595
  5. PWN-AI 系列之 Special Token 注入:https://xz.aliyun.com/news/91104