Agent Skills
返回列表
vLLM 性能测试报告

vLLM 性能测试报告

开发编程 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @user_6f8db926/vllmrreport。

技能介绍

解决什么问题

对 vLLM 做性能验证时,常见的风险是拿业务经验里的并发值替代真实容量,或者在没有监控数据、测中途有请求仍在飞行时,写出看似确定其实缺少证据的结论。这个技能面向需要评估 OpenAI 兼容服务吞吐、延迟、理论 C_max 和 SLO 推荐并发的工程师,但它的约束很明确:测试和报告都从实际执行结果与运行清单中产生。

工作方式

技能先判断压测器和模型服务是否在同一台宿主机,并索取模型服务、测试位置、输入样本、负载上限与授权等必要信息;材料不全时先提问,不直接发压。

  • 本地模式:用 scripts/run_guidellm_benchmark.py 在同机执行 GuideLLM。若通过 --local-launch-command 启动 vLLM 或 Docker,脚本只会结束自己启动的进程。执行前需要确认模型路径、加速卡可见性、端口、显存和容器运行时。
  • 服务器模式:模型服务位于另一台机器时,必须获得明确授权并传入 --allow-remote。技能会检查 /v1/models;连接失败则停止并报告原因,不会尝试 SSH、启停远端服务、修改远端配置或绕过认证。
  • 远端 GuideLLM:当需要在服务器自身运行 scripts/run_remote_guidellm_over_ssh.py 时,需要 SSH 身份密钥、预先确认的 known_hosts、远端输出目录和批准的最大并发;只有同时传入 --authorize-remote-test --execute 才会真正发压,默认 dry-run 不会建立测试负载。
  • 报告生成:从 test_manifest.json、GuideLLM 的 benchmarks.json/csv 和可选图表中读取事实,再用 scripts/generate_ai_report.py --strict 汇总,负责人固定为 AI Agent (automated)。环境有 matplotlib 时可加 --render-details 画图。
  • 无 GuideLLM 时:优先使用 scripts/native_openai_benchmark.py。它不依赖 Docker、GuideLLM、Python 第三方包或联网下载;用户提供有代表性 --prompt-file 后,它会用流式响应中的 usage.completion_tokens 计算输出吞吐。缺少该字段时把请求记录为错误,不伪造 token 指标。

数据完整性规则也纳入报告:保留所有并发点;errored > 0 或 successful = 0 标记为无效;incomplete > 0 说明时间窗结束时仍有请求在飞行。TTFT/TPOT 分开展示 p50 中位数和 p95,不把中位数称为均值;输出吞吐/并发仅说明容量分摊,不是逐请求实测速度。理论 C_max 从 vLLM 日志抄录,不与基于业务 SLO 的推荐并发混为一谈。只有在 Prometheus 保存了对应时间窗的历史数据时才传 --prometheus,且只有业务明确 TTFT p95 SLO 时才传 --ttft-p95-slo-ms,否则不生成“推荐并发”。

边界与注意点

报告必须包含 AI 负责人、测试位置、目标地址、宿主机操作系统、显式环境配置、完整扫描序列、结果表、限制、输入文件 SHA-256 和可选图表;缺失字段显示“未提供”。没有 Prometheus 历史数据时,KV Cache 列应为空并说明原因。不同模型、量化、卡数、并行策略、vLLM 版本或输入输出长度的结果不能直接做等价横向比较。Docker 模式默认使用 host 网络,在 Windows Docker Desktop 或非 Linux 宿主机上要先验证容器到服务的可达路径,再使用可达 IP 或 host.docker.internal,不凭猜测修改目标地址。Docker 模式会通过 --rm 清理压测容器;本地服务默认在测试后停止;远端服务不被脚本修改。最终报告需要保留错误、缺失监控和未完成请求,并经过“校验与限制”“溯源”两个章节。

使用场景

  • vLLM 服务部署在本机时,需要用 GuideLLM 或 OpenAI 兼容接口实测吞吐、延迟与错误率。
  • 模型服务位于另一台服务器时,需要先取得授权再连接 `/v1/models`,并完成非破坏性压测。
  • 已经生成 `benchmarks.json`、`test_manifest.json` 后,需要输出包含溯源和限制说明的报告。
  • 没有可用 GuideLLM 镜像或二进制时,需要直接测试客户提供的 OpenAI 兼容服务并依据流式 usage 计算吞吐。

适合人员

  • 模型服务工程师,需要验证本地或远程 vLLM 在真实负载下的容量与延迟表现。
  • 性能测试工程师,需要生成带有 SHA-256 溯源、限制说明和错误保留的压测报告。
  • 站点可靠性工程师,需要根据理论 C_max、实测平台和 TTFT p95 SLO 判断可选并发。
  • 安全或合规人员,需要确认远程测试仅获得明确授权且脚本不会修改远端服务。