表格清洗工坊

先说清楚要解决的问题

从业务系统导出的表格几乎从来不是干净的：日期列里混着 2024/1/5、2024-01-05、2024年1月5日，金额带千分位和 ￥ 符号，部分数字以文本形式存储导致求和出错，一行数据被重复导出了多次，某些单元格直接是空白。这类问题数量多、规则琐碎，用 Excel 手工点一遍要花大量时间，而写脚本处理又很容易在批量目录场景下失控。

它是怎么工作的

这个技能把清洗动作拆成一组可配置的规则，核心能力包括：

• 字段提取：按分隔符或正则拆分列，例如把 张三_13800138000 拆成姓名与手机号。
• 格式统一：将多种日期写法归一为 YYYY-MM-DD，去除数字中的千分位与货币符号。
• 去重：支持全字段完全一致的行去重，也支持指定关键列（如仅按 订单号）去重。
• 空值处理：标记为 [缺失]、填充默认值，或直接删除该行，三种策略可选。
• 异常值识别：年龄为负数、金额为文本、日期不合法等，自动标记并写入日志。
• 类型推断：自动识别每列是整数、浮点、日期还是字符串，并输出推断结果。
• 批量处理：按文件名模式匹配同目录下的多个文件，输出带时间戳的清洗后文件与汇总日志。

适用边界与注意点

• 表头必须在首行；表头不在首行时需手动指定，否则会把数据行误判为表头。
• 不做语义理解，无法判断 张三 和 张 三 是否同一人，这类场景要配置去空格比较或正则规则。
• 不处理图片和 PDF 中的表格，需要先用 OCR 提取文本再转为 CSV。
• 加密或严重损坏的文件无法处理；轻微损坏会跳过异常单元格并标记为 [损坏]，中度损坏会跳过无法解析的行并在日志中记录原因。
• 输出为清洗后的新文件、逐行清洗日志，以及 JSON 格式的清洗报告，不含数据可视化功能。