Excel 数据校验

解决什么问题

Excel 文件常出现空值分布不均、重复行堆积、同列类型混杂等问题。人工排查时，容易因逐列核对而漏检，也可能误改原始文件导致数据丢失。这个技能针对这类场景，用 pandas 做一次只读扫描，把数据质量问题转成可读的报告，不需要你手动写脚本逐项检查。

核心能力与工作流程

技能采用「需求解析 → 勘察检查 → 报告输出」三步结构：

• 需求解析：根据用户输入确定检查范围。例如「看看哪些列有空值」只检查空值率，「检查有没有重复」只看重复行；未指定时执行全部检查项。
• 勘察检查：使用 pd.read_excel() 读取文件，自动分析六个关键维度：

- 空值率：统计每列 NaN/None 占比，超过 10% 标记为中危，超过 30% 标记为高危；
- 唯一值：计算每列唯一值数量，识别全相同列或疑似 ID 列；
- 类型一致性：检测同列是否混用数字与文本；
- 异常值：找出数值列中的极端值；
- 重复行：统计完全重复的行数；
- 公式列：识别哪些列由公式计算生成。

• 报告输出：仅输出检查结果，不修改原文件。若发现问题，会按严重程度分级（高/中/低/信息）给出处理建议，例如「空值率超过 30%，建议补全或标记缺失」。

适用边界与注意点

这个技能适合需要快速评估 Excel 质量但不愿改动原始数据的场景，例如数据交付前验收、分析前数据探查。由于严格只读，不会触发文件写入权限，也能避免误操作风险。

针对大文件，pandas 的 C 引擎读取速度约 1 秒/MB，10MB 以内的文件可快速完成扫描。33 万行 × 48 列的文件约占用 150MB 内存，普通开发环境足够应对。

需要注意：Windows 系统下输出中文报告时，可能需要先执行 sys.stdout.reconfigure(encoding='utf-8') 避免编码错误。技能不会执行任何公式计算，公式列仅用于标记，不会还原或更新计算结果。