Agent Skills
返回列表
Prometheus 告警解析器

Prometheus 告警解析器

IT 运维与安全 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md 安装 @user_3c6cb52e/prometheus-alert-resolver-skill。

技能介绍

告警风暴下的手动处置瓶颈

当 Prometheus 监控覆盖成百上千个指标时,告警洪峰会迅速淹没值班群。一次核心服务抖动可能触发 HighCPUUsage、DiskSpaceLow 等数十条关联告警,工程师需要逐个查看 Alertmanager 面板、分析 PromQL 时序数据、判断根因,再手动执行缓解操作。整个过程依赖个人经验,响应延迟可能从分钟级拉长到小时级,且容易因疲劳遗漏关键告警。

从告警数据到自动化处置的闭环

该技能通过直接调用 Prometheus API 构建了告警解析的完整链路。首先查询 /api/v1/alerts 端点获取当前活跃告警列表,针对每条告警匹配预定义的 playbook——例如当检测到 DiskSpaceLow 时,自动调用 /api/v1/query_range 拉取目标节点的文件系统使用率时序数据,计算增长趋势并判断是否达到清理阈值。对于需要快速止血的场景,技能会通过 Alertmanager /api/v2/silences 创建静默规则,避免同一故障的重复告警干扰。同时,它还支持校验 PromQL recording rules 的语法正确性,防止规则配置错误导致的告警误报。

适用边界与环境依赖

该技能目前内置的 playbook 覆盖了 HighCPUUsage、DiskSpaceLow 等常见告警类型,但未包含自定义指标的根因分析逻辑,需要根据实际监控体系扩展规则。此外,技能依赖 Prometheus 和 Alertmanager 的环境配置:Prometheus 需暴露 /api/v1/* 端点,Alertmanager 需开放 /api/v2/silences 接口并配置正确的认证权限。在生产环境中使用时,建议先在测试环境验证 playbook 的执行效果,避免因权限过大导致告警误静默或误操作。

截图预览

使用场景

  • 当Prometheus告警风暴导致值班群被重复告警淹没时,需批量静默同一故障源的关联告警并保留可追溯的静默记录
  • 收到节点磁盘空间不足告警后,需要立即拉取该节点文件系统使用率的历史时序数据,判断剩余清理窗口并执行预定义的清理playbook
  • 团队新增了自定义PromQL recording rule,上线前需要批量校验语法正确性并验证规则触发的告警阈值是否符合预期
  • 在故障演练或预发布环境中,需要对HighCPUUsage、DiskSpaceLow等常见告警的playbook执行步骤进行自动化预演和效果验证

适合人员

  • 值班SRE:要在核心服务抖动引发大量关联告警时快速止血并保留故障上下文,减少手动翻看面板的时间
  • 可观测性平台开发者:需要在内部工具链中集成基于Prometheus API的自动化告警解析与处置能力
  • 告警治理工程师:负责维护和迭代常见告警的playbook,需要校验PromQL规则并在测试环境中验证静默策略
  • Prometheus运维工程师:需要在不登录Alertmanager控制台的情况下,通过API自动化静默指定告警并获取时序分析结果