Dynamo 故障排查

要解决什么问题

在 Kubernetes 上跑 Dynamo 时，失败往往散落在 事件、PVC、model-download 任务、DynamoGraphDeployment 状态 和 worker 日志里。人工排查容易在 secret、镜像和 GPU 调度之间来回跳，还可能在未就绪时就去跑基准或改大量配置。

本技能把一次失败收敛成：问题类别、已掌握证据、最强信号 和 可执行下一步，并强调从只读证据出发、一次只修一层。

技能如何工作

1. 收集只读调试包：通过 scripts/collect_dynamo_debug_bundle.py 拉取 pod、事件、任务、PVC 与 CR 状态；可按 --namespace、--deployment-name 缩小范围。明确不收集 Kubernetes secret，也不打印 Hugging Face token。
2. 归类失败：对照 references/failure-decision-tree.md，归入单一主桶，例如 cluster/platform、namespace/secret、model cache/PVC/download、image pull/runtime、GPU scheduling、operator/reconciliation、frontend/router、worker/backend、endpoint/API、benchmark/perf 等。
3. 自顶向下检查：命名空间与 HF secret → PVC 与 model-download → DynamoGraphDeployment → pod describe 与日志 → 前端与端口转发 → /v1/models → /v1/chat/completions → 端点冒烟通过后再谈基准任务。
4. 输出契约：返回可能原因、精确修补或命令建议、已排除项，以及是否可安全继续部署或基准；修复建议优先 最小可逆（补命名空间/secret、storageClass、镜像 tag、必要时调整 GPU 或 KV router 模式等），每次改动后重跑就绪检查。

边界与注意

• 只读：技能本身不修改集群；返回的是建议命令，由操作员执行。
• 鉴权类失败可能仍需你在侧检查 HF secret 与 RBAC；kubectl Forbidden 通常要先申请命名空间只读 RoleBinding。
• 超大命名空间下包体会变大，应用 --deployment-name 限定部署。
• disagg 传输 不在本技能验证范围，需用 dynamo-interconnect-check。