技能介绍

CSV 数据清洗常遇到一个尴尬：文件能用，但分析前总要先收拾。来自 Excel 导出的表往往带着行尾空格、空行、重复表头，甚至整列冗余。手工处理费时，pandas 虽然强大，但在没装它的环境中又跑不起来。clean_csv.py 就是为这类场景设计的——一个仅依赖 Python 标准库的脚本，把清洗规则固化成一条固定流程。

技能如何工作

脚本按固定顺序执行八步清洗：

以 UTF-8（容错 BOM）读取文件
对每个单元格 去除首尾空格
丢弃完全空行
规范化表头——折叠内部多余空格、去除两端空白
丢弃完全空列
按行去重（保留首次出现）
可选：按指定列（--dropna-col）丢弃空值行
写出清洗后的 CSV 和一份 JSON 变更报告

参数简洁，默认行为即可覆盖大多数场景：

input.csv 指定源文件
-o / --output 设定输出路径（默认 cleaned.csv）
--report 指定 JSON 报告路径
--no-dedup 关闭去重（默认开启）

JSON 报告会记录每一步的实际操作数量，让你在信任数据前先看清改了什么。

适用边界与注意点

仅使用标准库：不依赖 pandas，任何有 Python 环境的机器都能跑
不会推断值：脚本只做删除和规范化，绝不凭空捏造缺失数据
大文件友好：逐行流式处理，内存占用恒定
规则固定：如果你的清洗需求超出当前流程（如大小写不敏感去重、数值类型转换），应当直接扩展 scripts/clean_csv.py，而不是在对话中用自然语言描述步骤——脚本才是唯一的执行来源