技能介绍

监控分散导致的运维痛点

运维中常遇到指标、日志、告警分散在不同工具里的问题。指标采集依赖零散脚本，查询语句难以复用；日志分散在多个系统，排查问题时需要反复切换工具；告警规则设置混乱，要么关键故障未触发，要么大量无关告警淹没重要信息；SLO 缺乏统一追踪，难以衡量服务可靠性与迭代节奏的平衡，最终导致故障响应慢、问题定位难。

技能的核心能力与实现方式

该技能围绕监控全流程提供结构化支持。核心组件包括 Prometheus 负责指标采集与查询，Grafana 实现可视化 dashboard，Loki 聚合日志，Alertmanager 管理告警规则、路由与升级。

Prometheus：配置采集目标、定义 metrics types 和实用查询语句
Grafana：编辑 dashboard JSON 实现自定义可视化展示
Loki：用 LogQL queries 进行日志聚合与检索
Alertmanager：设置 Prometheus rules 与告警路由配置
SLO/SLI：定义 SLI definitions、计算 error budget，基于模板生成 Application Dashboard

适用场景与注意点

该技能适合已采用 Prometheus、Grafana 等工具链的中大型团队，用于标准化监控体系搭建。需注意告警要基于用户影响的「症状」而非底层原因，告警触发时要附带 runbooks 指导处理；并非所有问题都要设为 P1 级告警，合理划分严重程度；通过 recording rules 预计算高频查询，降低实时查询压力；坚持外部合成监控，避免仅依赖内部探测；需先明确 SLO 目标，再通过错误预算平衡服务可靠性与迭代速度；日志需采用 JSON 格式以方便解析。