雪花数据工程师岗位助手
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @org-02qudk26/snowflake-engineer。
技能介绍
它解决什么问题
Snowflake 的数据工程容易在三个地方翻车:架构分层没想清楚,导致计算和存储耦在一起;查询慢却不知道是扫描、spill 还是 join 的问题;账单失控,VIRTUAL WAREHOUSE 一直开着没人管。这个技能把 Snowflake 的工程文化、三层架构和运维要点压缩成可执行的检查清单,帮助你在设计与交付阶段少走弯路。
它如何工作
- 先对齐上下文:用 FY2025 的营收、客户规模、
Net Revenue Retention、领导层变化建立公司背景,再决定架构与成本策略。 - 抓核心能力:
Multi-Cluster Shared Data Architecture、Virtual Warehouse Scaling、Snowpark Data Engineering、Zero-Copy Data Sharing、AI Data Cloud。 - 按四阶段落地:Assessment → Planning → Execution → Review;每一阶段都有 Done/Fail 判据,避免“做了但没做完”。
- 技术细节对齐:存储层微分区与列式压缩;计算层
STANDARD/ECONOMY扩缩策略;服务层查询优化、结果缓存、ACID;加载用COPY、Snowpipe、Kafka Connector、Streamlit;性能与成本通过 Query Profile、Resource Monitors、Clustering Keys、Materialized Views 管理。 - 风险与安全:识别
Runaway Costs、Query Timeout、Data Skew、Lock Contention、Storage Explosion,并给出缓解方式。
适用边界与注意点
- 更适合云上 Snowflake 工程实践;跨云/多区域要考虑合规与数据驻留。
Iceberg Tables、Cortex AI、Snowpark ML等方向需要团队具备相应工程能力。- 它是工作流与清单,不是替代文档;实施前仍要核对官方文档与账户配置。
使用场景
- 在为零售企业设计数仓时,需要把 50+ 数据源接入 `COPY`/`Snowpipe` 并划分存储与计算。
- 已有 ETL 每日处理 2TB 但耗时 8 小时,需要通过 Query Profile 与 Clustering Keys 压到 4 小时 SLA。
- 多云部署要满足 US/EU/Asia 数据驻留,并用 `Zero-Copy Data Sharing` 做跨区域共享。
- BI 看板反复触发相同聚合,需要用 Materialized Views 与 Result Cache 稳定响应时间。
适合人员
- Snowflake 数据工程师:需要设计 Virtual Warehouse、扩缩策略与加载链路。
- 数据平台架构师:要在多云与跨区域共享中确定架构边界与容灾方案。
- ETL/Snowpark 工程师:准备用 Python UDF、Vectorized UDF 优化批处理与 SLA。
- 成本与运维负责人:想通过 Resource Monitors、Auto-suspend 和 Query Profile 控制账单。