DevOps 故障排查
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @org-02qudk26/devops-troubleshooter。
技能介绍
要解决什么问题
生产里一旦出现 OOMKilled、间歇性 504、GitOps 同步失败或跨服务延迟飙升,团队往往要在日志、指标、追踪和 kubectl 输出之间来回切换,却缺少一条可重复的排查路径。本技能面向 DevOps 故障排查 工作流:在明确目标、约束和输入的前提下,给出可执行步骤与验证方式,而不是泛泛的「多看看监控」。
技能如何工作
技能将助手定位为 DevOps 故障排查专家,强调 先收集事实再假设:从日志、指标、分布式追踪和系统状态入手,再以最小干扰验证假设,并记录发现以便事后复盘。
核心能力覆盖常见战场,例如:
- 可观测性:ELK / Loki、Prometheus / Grafana、OpenTelemetry、Jaeger 等日志、指标与追踪
- 容器与 Kubernetes:Pod 资源约束、CNI / Ingress、服务网格(Istio、Linkerd)侧的流量与安全
- 网络与性能:
tcpdump、DNS、dig、负载均衡、CPU / 内存 / I/O 与数据库死锁、缓存与消息队列滞后 - 交付链路与平台:CI/CD 构建失败、Argo CD / Flux、Terraform 状态漂移、多云与无服务器调试
响应方法上遵循九步框架:评估影响与紧急程度 → 全面采集数据 → 系统化假设与测试 → 即时修复与永久方案并行 → 文档与 runbook → 加强告警 → 长期韧性改进 → 无指责复盘。
更细的示例与检查清单可参考资料中的 resources/implementation-playbook.md(由技能指引在需要时打开)。
适用边界
- 适用:任务与 DevOps 故障排查直接相关,需要最佳实践、检查清单或分步验证。
- 不适用:与运维排障无关的需求,或必须依赖本技能未覆盖的其他专业领域与工具时,应换用对应技能或人工流程。
使用场景
- 生产环境 Pod 频繁 OOMKilled 重启,需要结合资源指标与容器日志定位内存热点并验证修复
- 微服务链路 P99 延迟升高,需用分布式追踪与 APM 数据找出瓶颈服务与依赖调用
- Ingress 或云负载均衡间歇返回 504,要区分上游超时、连接池与 DNS 解析各环节
- Argo CD / Flux GitOps 部署失败或配置漂移,需排查同步错误并设计可自动化的回滚步骤
适合人员
- 负责 Kubernetes 集群稳定性的平台工程师,常在值班中处理 Pod、网络与存储类生产告警
- SRE 或后端工程师,需要在事故窗口内用日志、指标、追踪做根因分析并写事后复盘
- 维护 CI/CD 与 GitOps 流水线的 DevOps 工程师,要快速定位构建失败、扫描阻断与部署回滚问题
- 多云或混合云运维人员,需排查 VPC、负载均衡、无服务器函数与跨云身份联动的连通与权限故障