数据清洗与预处理助手

解决什么问题

杂乱数据进入分析前，最常见的不是模型不够强，而是表本身不可信：重复行、缺失值、金额带 ¥、日期格式混用、列类型漂移。这个技能面向“拿到样例就想尽快知道每列出了什么问题”的场景，避免把清洗逻辑散落在聊天记录里。

• 输入可以是前几行样例、列含义说明，也可以是明确的脏数据问题。
• 输出不是一句建议，而是可复现的清洗方案 + 可运行脚本 + 质量报告。
• 脚本基于 pandas，关键步骤带注释；复杂清洗会分步给出。

工作方式

它会先要求或读取样例，再按诊断、清洗、校验、报告的顺序推进：

1. 诊断报告：逐列列出名称、类型、缺失率、问题和建议处理。
2. 给脚本：生成可直接运行的 pandas 代码，解释去重、去空格、类型转换、日期统一等动作。
3. 校验结果：说明清洗前 N 行、清洗后 M 行，删除多少重复行、填充多少缺失值。
4. 质量报告：保留仍可疑的点，例如某列异常率偏高，建议人工复核。

例如销售表存在重复行、金额带 ¥、日期有两种格式时，它可以给出诊断表，然后执行去重、剥离 ¥ 并转 float、统一日期，最后报告仍有 3 行日期无法解析并标记待核。

适用边界

它适合把“清洗决策”变成可审计、可重跑的工程产物，不适合替代对业务口径的判断。缺失值不臆造填补，填充策略会标出依据；大文件应先抽样验证再全量执行。涉及 PII 时，只有在授权并完成脱敏后才处理。异常值会给出截尾或标记选项，不会擅自删行；任何删除都会说明比例。