FlagOS 精度与性能测试
将以下提示词粘贴到你的 AI 对话框中：
请根据 https://skillhub.cn/install/skillhub.md，安装 @user_e10c831c/perf-test-flagos。
技能介绍
要解决什么问题
模型栈和并行度在 model-verify 里验过之后，还需要在真实 vLLM serve 场景下看吞吐、延迟和资源占用是否稳定。手工逐个改并发、长度再跑 vllm bench serve 容易漏 profile、超时处理不一致，也难把多轮结果收成一张可对比的汇总表。
技能如何工作
本技能按 model-verify 推荐的 full/base 栈启动 vLLM，轮询 /health（启动超时 300s），必要时可复用 env-verify 的 test_serve_mode.py 做服务健康预检。
精度（Part A）：FlagEval 客户端尚未接入，当前固定报告 SKIPPED，不会阻塞性能流程。
性能（Part B）：将脚本拷入容器，按 references/benchmark-profiles.md 依次跑默认 5 个 profile，结果写入 /data/results/perf/ 并生成合并 JSON 与汇总表。单个 profile 失败或 600s 超时不会中断其余 profile；结束后停服，按 PASS / PARTIAL / FAIL 呈现状态（全成 / 部分成 / 起服失败或全失败）。
适用边界与注意点
- 依赖已装好软件栈的容器，且 model-verify 已完成；单独调用时需自行提供容器名、模型路径、TP 与栈配置；从
/flagrelease调用时由上下文传入。 - 若找不到
vllm bench serve，应视为 vLLM 版本或环境问题；高并发 OOM 时文档建议减少num_prompts。 - 压测中途服务崩溃会尽量抓日志并标明触发的 profile。
使用场景
- model-verify 已确定 TP 与 full/base 栈后，要在同一容器里拉起 vLLM serve 并跑齐 5 套默认 bench profile
- 从 /flagrelease 流水线传入容器与模型上下文，需要自动生成 perf JSON 汇总表并给出 PASS/PARTIAL/FAIL
- 发版前想用 vllm bench serve 对比不同并发与序列长度下的吞吐，且单 profile 失败不影响其余 profile 继续跑
- 服务启动后需先确认 /health 与可选 test_serve_mode 预检，再进入长时间压测以免白跑 benchmark
适合人员
- 负责容器内 vLLM 上线、需在 model-verify 之后补一份可归档性能报告的推理平台工程师
- 维护 FlagOS / flagrelease 发布流程、要把多 profile 压测结果标准化写入 /data/results/perf/ 的发布值班同学
- 在选定模型路径与 TP 后，需要按 benchmark-profiles 固定套路验收 serve 模式而非手工改参数的 MLOps 工程师
- 排查 vLLM 版本缺少 vllm bench serve 或高并发 OOM 时，需要结构化错误与 PARTIAL 结果的一线运维
相关技能
为工程师提供 Java Spring Boot 后端开发指导，覆盖 REST API、数据库、安全、微服务、测试、部署与常见排障。
为 Agent 提供纯 Python 截图工具，支持全屏、窗口、滚动截图，并能进行标注、马赛克模糊和屏幕取色。
基于 Chrome CDP 执行云表 Web 登录，要求外部传入 baseUrl、username、password，并验证进入已登录首页。
输入主题后自动创作内容，按设计系统生成闪卡、学习、测试、索引与进度页面，并输出可部署的知识学习网站。