Agent Skills
返回列表
🔒

Dynamo Router 启动器

IT 运维与安全 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中：

请根据 https://skillhub.cn/install/skillhub.md，安装 @org-02qudk26/dynamo-router-starter。

技能介绍

解决什么问题

Dynamo 路由常见卡点：前端起来了但 worker 未注册、模式选错、KV 事件缺失导致 router 干等，或者只靠一条 chat 请求误判性能。这个技能把“把 router 跑起来”变成可执行清单。

工作方式

它先收集 本地 Python/CLI 或 Kubernetes recipe 路径、期望模式、前端端口或 Kubernetes 服务、worker 是否发布 KV 事件等输入，再按步骤处理：

  • 建立基线：选择 round-robin、least-loaded 等可用模式，确保 /v1/models 能发现至少一个模型。
  • 启用 KV 路由：若 worker 发布 KV cache 事件则开启 KV-aware 路由；否则设置近似模式，避免 router 悬挂。
  • 冒烟测试：调用 scripts/check_router_health.py 检查 /v1/models 与一次 /v1/chat/completions 请求。
  • 对比模式：只在相同模型、worker、提示集与并发下做小样本对比，并将结果标记为冒烟结论。

适用边界

该技能面向启动、配置和端点验证，不生成吞吐/延迟基准；完整性能数据需要单独基准运行。若 worker 不发布 KV 事件，它会标记近似模式，但不修复底层 worker 配置；端点不健康或缺 worker 时应转入故障排查流程。

使用场景

  • 在本地 Python 环境中拉起 Dynamo 前端后，选择基线路由模式并验证模型端点是否可用。
  • 在 Kubernetes recipe 部署后，定位前端服务，仅修补 env 以启用或降级 KV-aware 路由。
  • worker 未发布 KV cache 事件时，设置近似 KV 模式，避免 router 悬挂并记录限制。
  • 准备对比 round-robin 与 KV 路由前，固定模型、提示集和并发，再执行一次冒烟请求。

适合人员

  • 负责 Dynamo 前端上线的推理平台工程师，需要在本地或 Kubernetes 中先把 router 跑起来。
  • 管理 Kubernetes recipe 的 AI 基础设施工程师，需要确认前端服务、worker 注册和路由模式配置。
  • 排查 /v1/models 返回空或 chat 超时的平台运维，需要快速判断是否缺少 worker 或事件。
  • 评估 KV 路由行为的系统测试工程师，需要在受控条件下做冒烟对比并标注限制。