技能介绍

解决什么问题

拿到一份新表格数据时，最常见的阻碍不是分析方法，而是数据本身：同一记录出现多次、关键字段为空、日期格式混杂（Unix 秒/毫秒、2024/1/5）、数字里混着千分位逗号、字符串首尾带空格。这些问题在 Excel 里手工修一次还能忍，但要反复执行或批量处理几十份文件，靠手写 pandas 脚本既重复又容易漏步骤。

本技能把通用清洗流程固化为 scripts/clean_data.py 的命令行参数，覆盖去重、缺失值处理、格式标准化、列行操作、异常值检测、数值归一化等需求，适用于一次性、批量或重复性的表格清洗任务。

核心能力与执行方式

输入/输出：通过扩展名识别 CSV、TSV、Excel、JSON、JSONL、Parquet，输出默认跟随输入格式，可用 --output-format 指定。
数据画像：--profile 在清洗前生成 data_profile.md，包含规模、缺失率、逐字段类型推断与数值统计，先摸清数据再动手。
缺失值策略：删除行、标记、固定值填充、智能填充（数值取中位数、文本取最高频值）四种可组合；--required-cols 校验核心字段，--category-cols 保护类别字段不被误填充。
字段校验与脱敏：--validate 支持手机号、邮箱、身份证（含校验位）、邮编、IP、URL；--mask 支持手机号、身份证、姓名、邮箱、银行卡脱敏。
正则与列变换：--replace/--extract 做正则替换与提取，--split-col/--merge-cols 拆分合并列。
批量处理：--batch 遍历目录，自动跳过已清洗文件，逐个生成报告并输出汇总 JSON。

执行顺序与注意点

操作顺序固定为 16 步，例如字段校验在数值转换之后、业务规则之前执行，PII 脱敏放在所有清洗之后，确保脱敏结果不被后续步骤干扰。脚本不修改原文件，输出均为 _cleaned 后缀新文件，安全可回滚。需要注意：数值归一化会改变原始值；日期按 UTC 解析并做防篡改校验；Parquet 读写依赖 pyarrow；中文列名完全支持。