技能介绍

要解决什么问题

大模型上线前往往要跑准确度评测、API 压测、RAG 检索质量，或把历史结果做对比可视化。EvalScope 命令面很宽：eval、perf、service、benchmark-info 以及多种 --eval-type / --eval-backend，新手容易在「该读哪份文档、该带哪些参数」上浪费一轮试错。

技能如何工作

本技能按你的意图做工作流路由，并强调只读当前场景对应的 reference，避免一次性预加载全部说明。

准确度评测：本地 checkpoint 或 HuggingFace/ModelScope ID → --model；OpenAI 兼容 API → --api-url；Anthropic、LiteLLM、Responses API、mock、文生图/TTS/图像编辑等有对应 --eval-type 分支。核心在 evalscope eval，输出落在 outputs/ 下的 JSON 报告与 report.html。
性能压测：走 evalscope perf，关注 --parallel、--number、dataset、max-tokens、SLA 自动调参等；结果含 TTFT/TPOT/吞吐分位数表与 HTML 报告。
RAG 评测：--eval-backend RAGEval，配合 YAML/Python 配置，工具侧涉及 RAGAS、MTEB、clip_benchmark。
可视化与基准发现：evalscope service 扫描 --outputs；benchmark-info 按标签查 MMLU、GSM8K、HumanEval、C-Eval 等套件。
沙箱代码评测：HumanEval/MBPP 等需 Docker 隔离时，走 sandbox 相关 schema。

技能内还提供按需求（数学、代码、中文、多模态、Agent 等）对照典型 benchmark 标签的快速查表。

适用边界与注意点

首次验证建议 --limit 5，长跑可看 outputs/ 日志；中断可用 --use-cache 续跑。
可视化需额外安装 evalscope[service]；沙箱评测依赖本机 Docker 守护进程。
参数全集以各 workflow 的 eval-reference.md、perf-reference.md、rag-reference.md 及 troubleshooting.md 为准；遇错先走排障文档而非猜参数。

截图预览

使用场景

合并发版前，对本地 checkpoint 或 ModelScope 模型 ID 执行 `evalscope eval`，在 ceval、gsm8k 等数据集上核对分数与 report.html。
对接生产推理网关后，用 `evalscope perf` 设置 parallel 与请求数，采集 TTFT、TPOT 及 p50–p99 吞吐，判断是否满足 SLA。
两版向量检索或 rerank 方案定型前，以 `--eval-backend RAGEval` 配 RAGAS/MTEB，对比 embedding 与召回质量。
多次实验产物散落在 `outputs/` 时，启动 `evalscope service` 扫描目录，在界面里对比不同 run 的 JSON/HTML 报告。

适合人员

负责基座或微调模型发版的算法工程师，要在统一 CLI 下切换本地权重与 OpenAI 兼容 API 并完成 MMLU、IFEval 等回归。
维护 vLLM/自研网关的推理平台同学，需要对 dashscope、openai 等 API 类型做压测并留存可分享的 HTML 性能报告。
企业知识库/RAG 产品的检索负责人，要用 RAGEval 与工具配置量化召回，并在改 prompt 或索引后复现同一套指标。
承担 Agent 或多模态能力验收的评测同学，需用 `benchmark-info` 按 Agent、MultiModal 标签选 tau_bench、mmmu 等集并先 `--limit 5` 试跑。