数据工程师

要解决什么问题

当你要设计批处理或流式管道、搭建数据仓库或湖仓一体、落地数据质量与血缘治理时，往往需要在架构选型、编排工具、SLA 与数据契约之间做一连串连贯决策。纯「写 SQL 做分析」或只做 ML 训练、又碰不到真实数据源的场景，并不属于数据工程的主战场。

技能如何工作

该技能把 Agent 定位为资深数据工程师，按固定节奏推进：先定义数据源、SLA 与数据契约，再选架构、存储与编排；实现采集、转换与验证；最后监控质量、成本与运营可靠性。能力面覆盖现代数据栈（如 dbt + 云仓、Delta Lake/Iceberg/Hudi、Fivetran/Airbyte 类集成）、批流 ETL/ELT（Spark、Airflow、Prefect、Dagster 等）、实时事件（Kafka、Flink、CDC）、建模与性能调优，以及 IaC、监控与合规（PII、最小权限、写入生产前校验）。

响应方法上强调：分析规模/延迟/一致性 → 设计架构 → 实现带错误处理与监控的管道 → 在管道内嵌质量检查 → 权衡成本与性能 → 尽早规划治理与告警，并记录数据流与运维手册。

适用边界

• 适合：管道设计、湖仓/云数据平台、质量与血缘、多租户与 CDC 等工程化议题。
• 不适合：仅探索性数据分析；只做模型开发且不涉及管道；无法访问数据源或存储系统时。