Flink CDC Pipeline YAML 生成器
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_9633ad83/thorne-flink-cdc-yaml-generator-skill。
技能介绍
要解决什么问题
Flink CDC 的 Pipeline 配置用 YAML 描述整条同步链路:source 连接、sink 写入、transform 投影/过滤、route 表映射,以及 pipeline 级并行度、时区、schema 变更策略等。手写时容易漏必填项、把 tables 写成 sink 不接受的正则,或在 Transform 里写无效 SQL。版本从 3.0.x 到 3.6.x 支持的 source/sink 组合也不相同,参数名还分散在各连接器文档里。
技能如何工作
技能在 GENERATE 与 VALIDATE 两种模式间切换:你描述「MySQL 同步到 Doris」或贴出现有 YAML 要求 review,它会识别 source/sink 类型,并按需读取 connectors/source/*.md、connectors/sink/*.md 以及 modules/transform.md、modules/route.md,而不是一次性灌入全部文档。
生成时会确认 Flink CDC 版本(未指定时默认 3.6.x),收集 host、库表、凭证等最小必要信息,产出完整可执行的 Pipeline YAML。校验时会检查必填字段、连接器规范、tables 格式、Route 的 sink-table 是否为精确 schema.table、Transform 的 projection/filter 是否为合法 SQL,并以编号列表给出修复建议;通过则明确 YAML is valid 并摘要 pipeline。
适用边界
- 适合:CDC Pipeline YAML 的创建、审查、连接器参数与 Transform/Route 配置咨询。
- 不适合:普通 Flink SQL 查询、MySQL 等库本身的运维调优、与 CDC Pipeline 无关的其他集成工具问题。
- 若指定版本的连接器不可用,技能会警告并建议升级版本或换用兼容 sink/source。
使用场景
- 首次搭建 MySQL 到 Doris 的 CDC 任务,需要一份字段完整的 Pipeline YAML
- 上线前把同事写的 YAML 交给模型做必填项与 Transform SQL 校验
- 不确定 3.6.x 下 MySQL source 与 Paimon sink 各有哪些必填连接参数
- 要在同步链路里加表级 Route 映射和 projection 过滤,需要按规范写 transform/route 块
适合人员
- 负责实时数仓入湖入仓、常用 Flink CDC Pipeline 的数据平台工程师
- 从 Flink SQL CDC 迁到 Pipeline 配置、要对照连接器文档写 YAML 的 Flink 作业维护者
- 上线前审查 CDC 配置是否符合 route sink-table 与 tables 格式规范的技术负责人
- 对接 Oracle/PostgreSQL 到 Kafka 或 Elasticsearch,需要核对版本兼容 connector 列表的集成开发