Agent Skills
返回列表
湖仓一体架构师

湖仓一体架构师

数据分析 更新于 2026.08.30

将以下提示词粘贴到你的 AI 对话框中：

请根据 https://skillhub.cn/install/skillhub.md，安装 @user_69009747/lakehouse-architect。

技能介绍

解决什么问题

企业同时维护数仓和数据湖时，常见存储冗余、口径不一致、查询链路割裂。该技能把湖仓一体落地拆成可执行步骤，帮助在 Iceberg、Hudi、Paimon、Delta Lake 间做选型，并围绕 Flink、Spark、StarRocks 搭建端到端架构。

如何工作

  • 格式选型：对比实时能力、Flink / Spark 集成、upsert 性能与社区活跃度，用决策树快速判断场景。
  • 架构设计：给出湖仓一体架构模式，推荐以 Paimon + StarRocks 支撑实时与查询加速。
  • 实现与迁移：通过脚本完成环境部署，覆盖 Flink CDC 入湖、分层加工、外部目录查询、快照治理；迁移阶段包含双跑、灰度、全量切换与回滚控制。
  • 成本分析：用 TCO 计算器比较存储、计算、运维与冗余成本，形成迁移决策依据。

适用边界

更适合已有 MySQL、Flink、Spark 或 StarRocks 的数据团队做架构评估与迁移设计。若组织仍处在概念验证阶段，或主要诉求是业务报表开发，需先补齐基础数据模型和指标口径。

使用场景

  • 评估现有数仓与数据湖双轨制，对比 Iceberg、Hudi、Paimon、Delta Lake 选型。
  • 基于 Flink CDC 与 Paimon 设计 ODS/DWD/ADS 链路，并用 StarRocks 查询加速。
  • 制定传统数仓迁移到湖仓一体的双跑、灰度切换、回滚预案和一致性校验方案。
  • 迁移前后测算存储、计算、运维人力和数据冗余成本，形成 TCO 决策材料。

适合人员

  • 负责数据平台架构的数据工程师：需要为实时数仓选格式并设计湖仓一体链路。
  • 主导数据仓库迁移的 DBA / 数据工程师：需要制定双跑、灰度切换与回滚预案。
  • 关注计算与存储成本的运维负责人：需要用 TCO 计算器比较迁移前后成本。
  • 使用 Flink 和 StarRocks 的实时开发：需要把 MySQL CDC 数据入湖并加速查询。