数据质量诊断

要解决什么问题

接手一张陌生的 CSV 或 Excel，你往往要先回答几件事：哪些列缺得厉害、分类值是否乱、数值有没有离谱的尾巴、日期格式是否混用、列之间是否强相关。手工在 Notebook 里拼 describe()、频数表和相关系数，既慢又难沉淀成可分享的结论。

本技能把这类数据画像（Data Profiling）流程收成一条 CLI：读表、按列类型做描述统计、按规则打质量分，并输出自包含 HTML 报告（表格与文字，无外部依赖）。

如何工作

• 输入：CSV、XLSX、XLS；大表默认用 --sample 控制最大行数（默认 50000），缺失率超过 90% 的列会自动跳过。
• 类型推断：数值、分类/文本、日期、布尔；并对文本列尝试识别 Email、URL、中国大陆手机号等模式。
• 列级统计：数值列含均值/分位数/IQR、偏度峰度、零值与负值比例；分类列含 Top 10 频数与高基数提示；日期列含跨度；布尔列含 True/False 占比。
• 异常与关联：数值列用 Tukey IQR（1.5× 温和、3.0× 极端）标异常；数值列间输出 Spearman/Pearson 相关矩阵的 Top 20 强相关对。
• 五维质量分（0～100）：完整性、唯一性、一致性、有效性、时效性；并自动标记高缺失、格式不一致、大小写/空白重复、类型混入、范围异常（如年龄、百分比）、数据超期等问题。

边界与注意点

这是诊断而非清洗：不改数据、不接数据库直连、也不支持自定义质量规则（阈值在源码常量里）。Excel 只读第一个 Sheet；报告不含原始行数据，只有聚合统计；无图表组件，也不支持 JSON/Parquet 等格式。百万级行请依赖采样，避免全量进内存。