Agent Skills
返回列表
Kafka 流处理专家

Kafka 流处理专家

开发编程 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中：

请根据 https://skillhub.cn/install/skillhub.md，安装 @user_69009747/kafka-streaming-expert。

技能介绍

要解决什么问题

实时管道一旦上生产，常见问题往往不是「能不能连上 Kafka」，而是消息丢失、重复消费、Lag 飙高和副本/Controller 异常却没人盯指标。团队需要一份能对照改配置的清单，而不是零散博客片段。

技能如何组织内容

技能按从全景到落地的顺序展开：

  • 架构与参数：num.partitions、replication.factor、min.insync.replicas、acks=all、enable.idempotence 等生产推荐值及含义
  • 生产者：幂等生产者与事务、分区策略
  • 消费者：消费者组与再均衡、死信队列（DLQ）
  • 流与集成：Kafka Streams、Kafka Connect
  • 运维：UnderReplicatedPartitions、ConsumerLag 等告警阈值，以及性能调优与故障对照表（丢失/重复/延迟/分区不均等）

适用边界与注意点

文档侧重通用生产实践与排障思路，retention、压缩算法等仍需按业务与集群规模实测。它没有替代你环境的容量规划、安全认证（SASL/SSL）细则，也不等于官方 Release Notes；升级大版本时仍要以 Apache Kafka 文档与变更说明为准。

使用场景

  • 新 Topic 上线前，按文档核对分区数、`replication.factor` 与 `min.insync.replicas`，把生产者 `acks` 调到生产可用级别。
  • 消费端 Lag 持续升高时，结合消费者组与分区数评估是加实例还是加分区，并检查再均衡是否拖慢处理。
  • 业务要求尽量不丢、不重复时，按章节串联幂等生产者、事务发送与消费者死信队列与幂等处理。
  • 要把数据库或日志流接到下游系统时，对照 Kafka Connect 与 Kafka Streams 章节选型集成或流式转换方案。

适合人员

  • 负责订单/行为日志等事件入 Kafka 的后端工程师，要在生产环境落实 `acks=all` 与幂等生产者配置。
  • 值守 Kafka 集群的 SRE/平台工程师，需要为副本不足、离线分区与消费者 Lag 设定可执行的告警阈值。
  • 搭建实时同步或轻量流计算管道的数据工程师，需要 Connect 连接器或 Streams 拓扑的设计参考。
  • on-call 排查线上消息丢失、重复或消费延迟的开发，需要按文档故障表对照 acks、重试与分区策略。