Data Fabric 编织者

问题从哪来

异构数据源各自为政时，团队往往靠手工 ETL、文档和口头问数完成集成与消费：每接一个源要单独写管道，查询语法按库各一套，新增数据源常以周计，治理也停在库表级。Data Fabric 的思路是用 元数据 把「在哪、是什么、谁能用、怎么连」串成一张可检索、可联邦访问的网，而不是再堆一层孤立的数据湖。

技能在讲什么

本技能按 Data Fabric 全景 组织实践，并对照传统 ETL/数据湖说明差异：集成从逐源开发转向 元数据驱动注册；发现从 T+1 级文档检索转向 实时目录；查询从多方言 SQL 转向 虚拟化统一 SQL 与跨源联邦。

核心能力块包括：

• 主动元数据（如 Apache Atlas）：不只记录位置，还感知变更并推送建议
• 知识图谱 / 数据资产地图：把表、列、血缘关系结构化，便于人与下游 AI 理解资产关系
• 数据虚拟化（如 Trino）：单条 SQL 查多个异构源，无需先搬迁全量数据
• 自助门户：把目录与策略暴露给分析侧，减少「提需求 → 排期 → 取数」的串行链路

文中还给出了组件选型表（Atlas、OpenMetadata、Trino、Neo4j、Airflow + dbt、Great Expectations 等）及 Gartner 成熟度 定位——本技能侧重 L3 主动元数据（自动血缘、主动目录），并点到向 Data Mesh 过渡与更高阶智能治理的方向。

适用边界

这是 架构与实施路线 类指引，不是某个厂商产品的开箱手册。落地时仍需你们自有的数据源清单、安全与合规策略，以及虚拟化层对延迟、下推与权限模型的评估；文中「1～2 天接入新源」是相对理想态，取决于元数据质量与策略是否已标准化。