技能介绍

坏数据不会自己报警

一个静默的问题：数据集里混进了编码成字符串 "N/A" 的空值、晚于今天的"未来日期"时间戳、几千个唯一值伪装成类别的文本列。这些不会让任务报错，但会让下游 join 结果失真、模型训练被毒化、dashboard 数字悄悄偏离。data-quality-auditor 要解决的就是这类"看起来能用，实际在腐蚀分析"的数据健康问题。

三种工作模式与三件工具

全量审计（Full Audit） 面向从未检查过的数据集，按五步走：用 data_profiler.py 生成形状、类型、空值率与分布画像 → 用 missing_value_analyzer.py 判断缺失属于 MCAR、MAR 还是 MNAR → 用 outlier_detector.py 以 IQR、Z-score、Modified Z-score 三种方法标记异常 → 检查跨列完整性、重复行与逻辑约束 → 计算 DQS 并输出修复计划。

定向扫描（Targeted Scan） 针对某个可疑列或指标，先问"什么坏了、什么时候开始的、上游改了什么"，再只对嫌疑列运行脚本，并与历史基线对比分布漂移。

持续监控（Monitoring） 面向线上管道：识别 5-8 个驱动关键指标的列，定义空值率、异常率与取值域阈值，从 data_profiler.py --monitor 生成检查清单与告警逻辑。

DQS 五维评分

0-100 的复合分覆盖五个维度：Completeness 30%（关键列空值率）、Consistency 25%（类型与格式一致性）、Validity 20%（取值是否落在合法域内）、Uniqueness 15%（重复行与重复键）、Timeliness 10%（时间戳新鲜度）。每份审计报告开头先给这个分数，再按 🟢 85+（生产可用）、🟡 65-84（带说明可用）、🔴 0-64（先修复再用）定级。

会主动触发的风险信号

审计过程中，六类问题会被无条件标出：编码成 0 或 "null" 字符串的静默空值、晚于今天的时间戳泄漏、伪装成类别的基数爆炸、不唯一的主键、偏离基线超过 2σ 的分布漂移、集中出现在特定时段或用户群的相关缺失。每个发现都打置信度标签：🟢 Verified / 🟡 Likely / 🔴 Assumed，🔴 级别绝不自动修复，必须人工确认。

不做什么

它不设计数据库 schema，也不搭 ETL 管道本身。如果数据是财务模型输出，应交给 finance/financial-analyst 做校验。报告统一遵循 Bottom Line → What → Why It Matters → How to Act 结构，每条问题附业务影响说明与按优先级排序的修复步骤。