多源数据清洗 Pro

解决的问题

当多个团队交付的 CSV、Excel、JSON、Parquet 或 SQL dump 需要合并成一张分析表时，常见痛点不是读取文件，而是字段名不一致、编码混杂、日期和布尔值写法不统一、缺失值来源不同、重复记录难以判定，以及隐私字段无法统一脱敏。multi-source-data-cleaner-pro 面向这类批量数据预处理，把“清洗规则散落各处”的过程收敛为一条可审计流水线。

核心工作方式

• 源剖析：识别格式、编码、分隔符、表头行，并推断列类型、空值率、基数。
• 类型归一：将千分位、科学计数法、货币符号转为数值；把多种日期格式转为 ISO 8601；统一布尔、电话 E.164、中文全/半角和 ID 前缀。
• 缺失值处理：按列选择 drop_row、均值/中位数/众数、常量、forward_fill 或插值，并写入 _imputed 标志列。
• Schema 对齐：通过精确匹配、模糊匹配和类型兼容检查生成 crosswalk.json，也可用 mapping.yaml 覆盖。
• 模糊去重：使用 blocking 与 record linkage 对姓名、地址、ID 等字段打分，低置信度合并会留给人工复核。
• 质量评分：按完整性、准确性、一致性、时效性、唯一性、有效性给出 0-100 分及明细。

适用边界

它适合离线批处理的结构化或半结构化表数据，不适合自由文本抽取、无解析器的专有二进制，或实时流式清洗。PII 默认脱敏，原始文件不修改，处理过程本地执行。