vLLM 推理性能深度分析：阶梯并发实验、Roofline 模型与调度瓶颈验证

Mon, 06 Jul 2026 00:00:00 +0000

环境：AutoDL | 2×RTX 4080 | Qwen/Qwen2.5-7B-Instruct 涵盖 TP=1 与 TP=2 两组阶梯并发实验，以及调度瓶颈深度分析

一、实验环境与基础配置

1.1 服务启动（TP=2）

vllm serve /root/autodl-tmp/models/Qwen/Qwen2.5-7B-Instruct --tensor-parallel-size 2

显存状态（冷启动后）

GPU 0: 30356MiB / 32760MiB  —  VLLM::Worker_TP0
GPU 1: 30356MiB / 32760MiB  —  VLLM::Worker_TP1
功耗：GPU0 37W / GPU1 39W（冷启动空载，P2 状态）

1.2 统一压测参数

所有压测使用相同的参数口径：

./vllm-bench --backend vllm --base-url http://127.0.0.1:8000 \
  --model /root/autodl-tmp/models/Qwen/Qwen2.5-7B-Instruct \
  --dataset-name random \
  --random-input-len 1024 --random-output-len 128 \
  --num-prompts 1000 --max-concurrency 200

参数	值
数据集	random
Input length	1024
Output length	128
Prompt 数	1000（基线）/ 300~500（阶梯实验）
最大并发	1~200 阶梯递增

1.3 GPU 裸算力基线（并发=1）

将并发度调为 1，消除 prefill 与 decode 的互相抢占，得到 GPU 纯算力基线。

GPU on yafeiaa Blogs

vLLM 推理性能深度分析：阶梯并发实验、Roofline 模型与调度瓶颈验证

一、实验环境与基础配置

1.1 服务启动（TP=2）

显存状态（冷启动后）

1.2 统一压测参数

1.3 GPU 裸算力基线（并发=1）