技能介绍

它解决什么问题

当你第一次把生产数据搬上 Databricks 时，很容易踩几个坑：用交互式集群跑生产 ETL 导致账单失控，表越写越小最后查询慢到没法用，或者把 schema 变更当成「删表重建」来处理。这些不是理论问题，是每个 Databricks 工程师迟早要面对的工程事故。这个技能的作用，就是把 Lakehouse 架构里那些反复出现的决策点整理成一套可执行的规范——什么时候该跑 OPTIMIZE，Z-ordering 和分区列怎么选，VACUUM 的保留期设多少才安全。

它如何工作

技能围绕三个层次展开：

存储层：以 Delta Lake 为基础，提供 ACID 事务、时间旅行和 schema 演化，Medallion 架构按 Bronze→Silver→Gold 逐层提纯数据。
计算层：针对 Spark 调优，启用 Photon 向量引擎和 AQE，文档给出的预期收益是 3–10 倍性能提升。
治理层：通过 Unity Catalog 统一管理数据与 AI 资产的权限、血缘和共享。

实际使用时，技能会先确认数据规模和成本约束，再决定 pipeline 的拆分方式：实时摄入走 Auto Loader + Structured Streaming，批处理用 Delta Live Tables 做声明式 ETL，机器学习模型通过 MLflow 完成实验追踪、版本注册和分阶段上线。成本优化是贯穿全程的硬约束——autoscaling 要设上下限、生产作业优先用 job cluster、用 liquid clustering 替代过度分区。

适用边界与注意事项

几条红线值得单独列出来：

小文件问题必须在调度里加每日 OPTIMIZE，目标单文件 128MB–1GB。
VACUUM 保留期不要设成 0，至少 7 天，推荐 30 天。
API key 和密码不要硬编码在 notebook 里，用 dbutils.secrets.get 或 Unity Catalog credentials。
并发写入要用乐观并发控制加重试逻辑，否则生产环境数据损坏是迟早的事。

适用范围上，这个技能只管 Databricks 平台内的 Lakehouse 工程实践。基础设施搭建（云上 IAM、集群初始化）不在范围内，通用机器学习理论和非 Databricks 的 Spark 部署也不覆盖——这些场景应该去找对应的专业技能。