Kafka 消费者延迟排障手册

要解决的问题

在 Kafka 生产环境中，消费者组延迟（Consumer Lag）是最常见却又最难快速定位的故障之一。当延迟从几条飙升到几十万条，值班工程师往往面对一堆 JMX 图表和日志却无从下手：是某个消费者处理太慢？还是分区分布不均导致热点？抑或频繁的再均衡让消费进度反复重置？缺乏一套结构化的诊断路径，排查过程全凭经验和运气。

核心能力与诊断步骤

本技能围绕 AdminClient API 和 Confluent Metrics API 暴露的 JMX 指标，提供一条从现象到根因的排查链路：

• 延迟量化：通过 consumer_lag 指标确认各分区当前堆积量，区分全局延迟与单分区延迟
• 慢消费者识别：对比各消费者成员的 records_lag_max，定位拖慢整体进度的具体实例
• 分区热点检测：分析各分区延迟分布，发现因 key 分布不均或分区数不足导致的热点
• 再均衡风暴判断：通过 rebalance_rate 和 rebalance_latency_avg 指标识别频繁 rebalance 对消费的干扰

在定位根因后，技能给出参数调优的具体路径：调整 fetch.min.bytes 减少空轮询、修改 max.poll.records 平衡单次拉取与处理时间、评估是否通过增加分区数来消除热点。

适用边界与注意点

• 本技能聚焦诊断与调优指导，不包含自动化修复脚本
• JMX 指标采集需要正确配置 Confluent Metrics API，否则部分指标不可用
• 参数调优需要结合具体业务的处理能力和延迟容忍度，盲目增大 max.poll.records 可能导致处理超时触发再均衡
• 分区数量受主题初始配置限制，扩容分区需要评估对下游消费者的影响