数据工程实战

要解决的具体问题

当数据管道从单机脚本演进到分布式集群时，常见的工程债会迅速累积。团队常遇到以下痛点：

• 批处理缺失：习惯性使用 row-by-row 逻辑，导致集群资源浪费且执行极慢
• 数据不可信：上游脏数据直接进入数仓，且各阶段之间缺乏 data quality checks
• 性能瓶颈：大表未按时间或类别进行分区，查询时被迫执行全表扫描
• 维护噩梦：缺乏数据血缘追踪，任务失败后难以回溯和幂等重跑

核心工作流与能力

本技能围绕标准化的数据工程生命周期展开，核心工作逻辑如下：

1. 架构分层：强制遵循 Extract-Transform-Load 三段式分离，确保数据流转清晰
2. 性能调优：利用 Apache Spark 进行批处理，开启 adaptive query execution 并优化分区策略
3. 模型设计：指导构建标准的星型模型，明确区分 dimension 与 fact 表
4. 持续校验：提供落地级检查清单，涵盖质量门禁、watermark 增量处理与告警机制

适用边界与注意点

• 主要面向结构化数据的离线数仓场景，不包含流式计算的硬实时架构设计
• 需要根据实际业务量级调整分区粒度，过度分区同样会导致元数据膨胀
• 强调 additive changes，在处理破坏性 Schema 变更时仍需人工介入设计