Agent Skills
返回列表
大模型基准测试工作台

大模型基准测试工作台

开发编程 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中：

请根据 https://skillhub.cn/install/skillhub.md，安装 @user_fcba917f/llm-benchmark2。

技能介绍

要解决什么问题

接入或切换 LLM 时，你往往只有厂商文档里的「支持 OpenAI 兼容」这句话，却缺少可复现的 TPS、TTFT、ITL 和成功率数据。手工用 curl 打几条请求，无法覆盖短文本、代码、长输出等不同负载，更谈不上长时间稳定性与多模型横向对比。

技能如何工作

本技能通过命令行工具 llm_bench.py 驱动测试，Agent 在用户提到 benchmark、压力测试、模型评测等场景时，应先确认 API 端点、密钥、模型名，再在技能目录执行对应子命令并解读输出的 JSON。

核心能力包括：

  • 基准测试：quick（约 12 条/轮）用于连通性验证；full 覆盖 8 类场景（短文本、数学、创意、问答、代码、推理、长文本、多语言），输出分位数与多维指标。
  • 压力测试：按时长与并发持续发请求，支持检查点、断点续传与 status 查看进度；失败侧有指数退避与自动重试。
  • 分析与对比：optimize analyze 扫描 benchmark_logs/ 历史，生成性能画像与趋势；batch 做多模型表格对比；optimize suggest / auto-tune 按生产、开发、压测场景推荐或网格搜索参数。
  • 报告：report 可导出 HTML/PDF，便于留存与分享。

典型流程：跑测试 → 读 bench_*.json / stress_*.json → 用自然语言总结结论 → 按需生成报告。

适用边界与注意点

  • API 须为 OpenAI 兼容 的 /v1/chat/completions；本地 Ollama 可将密钥填 ollama，端点指向 http://localhost:11434/v1/chat/completions。
  • 压力测试与 auto-tune 会发送大量真实请求，耗时长、可能产生费用，建议先用 --mode quick 验证连通性。
  • 首次使用需安装 Python 依赖 httpx、reportlab；结果默认落在 benchmark_logs/（可用环境变量 LLM_BENCH_LOG_DIR 覆盖）。

使用场景

  • 准备将推理服务上线生产前，需对 OpenAI 兼容端点跑 full 基准，拿到 P90 TTFT、TPS 与成功率写入变更单。
  • 聊天产品要在两个以上候选模型间定默认路由，需用 batch 在同一 prompt 集上对比稳定性与综合评分。
  • 推理栈或供应商发版后，要扫描 benchmark_logs 历史 JSON，用 optimize analyze 判断指标是提升还是退化。
  • 长时压力测试前先用 quick 验证密钥与连通性，再按时长与并发跑 stress，并用 status 盯完成进度。

适合人员

  • 负责公司 LLM 网关容量与 SLA 的 SRE，需要可复现的压测与分位数数据支撑上线评审。
  • 主导模型选型的后端技术负责人，要在相同负载下横向对比多家 API 的 TPS 与首 token 延迟。
  • 在内网单机部署 Ollama 的工程师，需向团队证明本地模型能否承受目标并发聊天流量。
  • 做推理成本与吞吐优化的平台工程师，要按生产或压测场景拿参数推荐或 auto-tune 网格搜索结果。