数据质量诊断

要解决什么问题

接手一份 CSV 或 Excel 表时，常见痛点是：缺失、重复键、类型混用、异常值和日期格式不一致往往要手工扫列。本技能把这类数据质量体检做成一条 CLI 流水线：读文件、算描述统计、按规则打问题标签，最后给出可分享的 HTML 报告。

如何工作

• 输入：CSV、XLSX、XLS（仅第一个 Sheet）；大表可用 --sample 限制采样行数（默认 50000）。
• 列类型：自动识别数值、分类/文本、日期、布尔，并对各类型做对应统计（如数值的 IQR 异常值、分类 Top 10 与高基数、文本长度、日期跨度等）。
• 质量评分：五维加权（完整性 30、唯一性 15、一致性 20、有效性 20、时效性 15），满分 100；并自动标记高缺失、格式不一致、极端异常值、超期等问题。
• 关联分析：数值列 Spearman/Pearson 相关，输出 Top 20 强相关列对。
• 输出：自包含 HTML（表格与文字，无外部 JS/CSS），不包含原始行数据。

边界与注意

不支持数据库直连、数据清洗修复、自定义质量规则（需改源码常量）、多 Sheet 合并或非表格格式。缺失率 > 90% 的列会自动跳过；全量加载受内存限制，百万行级数据应依赖采样。