Excel 与 CSV 数据清洗专家

你会遇到的典型问题

• 同一个 Excel 表里出现多条重复记录，但不确定该保留最早一条还是最新一条。
• 下游模型要求日期必须是 ISO 8601，而源文件里混着 2024/05/01 和 2024-05-01。
• 十几张结构略有差异的 CSV 需要先映射成统一列，再合并成一张干净表。

为这类重复劳动写一次性脚本显然不划算。@user_92725383/data-cleaning-expert 把清洗、转换、合并整理成一套可复用的本地流程。

技能如何工作

• 所有操作先读取原始文件，再写入新文件，不会直接修改源数据。统一入口是 scripts/main.py，默认输出目录为 ./output/。
• 清洗阶段，空值默认保留；只有显式加上 --drop-na 才会删除。去重默认保留第一条，加 --keep last 则改为保留最后一条，行为明确可预期。
• 日期字段统一输出为 ISO 8601；类型转换、列映射按 references/cleaning-rules.md 中的规则执行。
• 处理前可先生成 quality_report.json，把重复项、空值分布、格式异常汇总成结构化报告，方便复核后再决定清洗策略。
• 输出产物包括 cleaned_.csv、converted_.xlsx 或 JSON，以及 merged_output.csv，并支持 Excel/CSV/JSON 三种格式互转。

适用边界与注意点

• 单个文件默认限制 100 MB，可用 --max-size 调整，但过大的表仍需要事先抽样检查。
• 所有操作在本地完成，不上传云端；不会自动删除空值行，必须显式指定 --drop-na。
• 技能不负责判断数据来源是否合法，使用者需自行确认合规性。