技能介绍

要解决什么问题

在只有 Python 标准库、不能引入 numpy/pandas 的环境里，你仍需要对表格型数据做画像、找异常、补缺失、去重、标准化和相关性分析，还要能导出并给出可解释的质量结论。很多脚本会直接依赖第三方栈；data-cleaner 把常见清洗步骤拆成十个独立函数，算法从零实现，便于在受限部署或教学场景里对照原理阅读代码。

技能如何工作

十个函数各自对应一类典型任务，复杂度在文档里按输入规模给出：

data_profiling：类型推断与基础统计（四分位、偏度、峰度等），先建立数据画像。
异常值：outlier_detector_zscore 使用基于 MAD 的修改版 Z-score；outlier_detector_isolation_forest 用随机分割与路径长度得到异常得分。
missing_value_imputer：支持 KNN（距离加权）、均值/中位数/众数，以及用高斯消元的回归填充。
duplicate_detector：精确匹配走哈希；模糊匹配结合编辑距离，并用并查集合并相似记录。
data_normalizer：Min-Max、Z-Score、Robust（IQR）、Decimal、Log 五种标准化。
correlation_analyzer：Pearson / Spearman / Kendall 及 p 值显著性检验。
data_type_converter：向 int、float、bool、datetime、category 做智能推断与转换。
data_quality_scorer：从完整性、唯一性、一致性、准确性、时效性五个维度打分。
data_export_pipeline：CSV、JSON、TSV、Excel XML，并支持 GZIP 压缩。

调用时按流水线顺序组合即可：先画像与类型转换，再异常与缺失处理，去重与标准化，最后相关分析与导出。

适用边界与注意点

实现面向可解释性与零外部依赖，不是替代 pandas 级向量化性能；KNN 缺失填充、模糊去重、相关矩阵等在大样本上会是 O(n²) 量级，需控制行数或抽样。
Isolation Forest 的 t（树数量）与随机性会影响异常得分，结果宜与 Z-score/MAD 等规则方法交叉验证。
质量评分与类型推断依赖启发式规则，业务口径（例如「准确性」「时效性」）仍需你自行定义阈值与字段语义。