Agent Skills
返回列表
🤖

数据工程

AI Agent 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中：

请根据 https://skillhub.cn/install/skillhub.md，安装 @user_3c6cb52e/data-engineering-trt5。

技能介绍

数据管道设计常见问题

在数据工程实践中，管道设计不当常导致三类问题：处理效率低下（如逐行处理而非批量操作）、数据质量失控（阶段间缺失校验）、存储架构臃肿（未分区大表引发全表扫描）。这些问题会直接引发数据延迟、错误扩散和成本激增。

技能核心能力与关键步骤

该技能通过以下方式解决上述问题：

  • 管道模式标准化：强制采用Extract-Transform-Load三段式架构，明确各阶段职责边界。例如在Extract阶段聚焦数据采集，Transform阶段处理数据清洗与转换，Load阶段负责写入仓库。
  • 增量处理机制：基于watermarks或change data capture实现增量加载，避免重复处理全量数据。如Spark作业通过adaptive query execution自动优化执行计划。
  • 质量校验闭环：在每个管道阶段后嵌入data quality checks，确保数据在进入下一阶段前满足完整性、一致性要求。
  • 仓库建模优化：采用star schema或snowflake schema，通过dimension和fact表分离业务语义与度量数据，提升查询性能。

适用边界与注意点

需特别注意以下反模式：

  • 避免row-by-row处理，优先使用批量或集合操作
  • 禁止未分区的大规模数据表，应按日期或类别建立分区
  • 禁止在管道阶段间缺失质量检查，需确保每步验证
  • 禁止直接加载原始数据至仓库，必须经过转换
  • 优先使用增量加载而非全表扫描
  • 必须跟踪数据血缘，记录数据来源与处理时间

使用场景

  • 在构建从多源数据库抽取数据的ETL管道时，需要分离抽取、转换、加载各阶段并逐阶段校验数据质量
  • 处理每日增量数据流时，要基于watermark实现增量加载，避免全表扫描造成的资源浪费
  • 为分析平台设计数据仓库时，需采用星型或雪花模型，明确划分维度表和事实表
  • 在Spark作业优化过程中，要启用自适应查询执行，并确保作业幂等可重复运行

适合人员

  • 数据工程师需要设计和维护ETL管道，处理批量和流式数据
  • 数据仓库架构师负责设计规范化的多维模型，支持BI查询
  • Spark开发人员关注作业性能优化与资源合理分配
  • 数据平台运维人员需要确保管道各阶段的质量检查与告警机制