Great Expectations 数据验证管道

解决什么问题

数据处理链路中，表结构看似正常，但值域、唯一性、空值率和分布可能已经恶化。Great Expectations 数据验证管道把这类判断显式化：将“某列不能为空”“金额非负”“订单号唯一”等规则写成期望，按批运行验证套件，并把结果汇总成可读报告。它不负责清洗或修复源数据，而是给下游任务一个明确信号：这批数据是否满足已声明的质量契约。

技能如何工作

• 定义期望：把校验规则当作数据单元测试，用 Expectation Suite 描述列存在性、空值率、值域、唯一性、分布等条件。
• 组织数据上下文：通过 DataContext 绑定数据接入、验证结果与报告输出，使规则可复用、可追踪。
• 运行验证套件：对指定批次运行 suite，失败项会定位到具体期望，而不是只返回一个布尔值。
• 生成可读报告：输出人类可读的数据质量报告，便于数据工程师、分析师排查异常来源。

适用边界与注意点

• GX Core 支持 Python 3.10 至 3.13；3.14 及以上需要实验性支持，安装时可设置 GX_PYTHON_EXPERIMENTAL。
• 官方建议在虚拟环境中部署 GX Core，避免与其他项目的数据依赖和版本冲突。
• 该技能聚焦验证与报告，不做数据修正、重试调度或指标回流；上游写入逻辑仍需自行治理。
• 规则覆盖范围取决于你声明的 suite；已有脏数据不会自动消失，验证会让问题更早暴露。