Buildkite 代理监控

问题：CI 管道中的隐形瓶颈

在 Buildkite 这类分布式 CI 系统中，agent 池的健康状况直接影响流水线稳定性。常见问题包括：

• 连接状态不可见：agent 意外断连或长期离线时，无法快速定位问题节点
• 队列深度失控：作业堆积在队列中却无告警机制，导致交付延迟
• 等待时间异常：作业平均等待时间突增，但缺乏历史数据对比基准

这些问题通常在影响交付后才被发现，而非主动预防。

技能如何工作：监控与告警机制

该技能通过双 API 架构实现深度监控：

1. REST API v3 核心能力

- 定期拉取 /agents 端点获取活跃 agent 列表
- 解析 status 字段识别 connected/disconnected 状态
- 通过 queued_jobs 统计实时队列深度

1. GraphQL 补充分析

- 查询 jobWaitTime 字段计算历史平均等待时间
- 对比当前值与 7 日移动平均线识别异常波动
- 获取 agentPool 维度聚合数据

1. Slack 告警规则

- 触发条件：agent 状态为 disconnected 超过 10 分钟
- 队列深度 > 20 且持续 5 分钟
- 作业等待时间超过历史均值 3 倍标准差

适用边界与注意事项

• 权限要求：需要 Buildkite API token 具有 read_agents 和 read_jobs 权限
• 频率限制：建议设置 5-10 分钟轮询间隔，避免触发 API rate limit
• 上游依赖：Slack webhook 需预先配置，且告警通道需绑定正确 workspace
• 数据时效性：GraphQL 查询结果可能存在 1-2 分钟延迟，不适合实时监控场景
• 扩展性限制：当前版本仅支持单 agent pool 监控，多 pool 需部署多个实例