Excel只读查重助手

解决重复数据带来的清理难题

在处理包含数千甚至数十万行数据的企业级 Excel 表格时，手动核对重复项或依赖传统的 VBA 宏不仅容易出错，还可能因宏安全限制而受阻。更常见的情况是，我们需要基于特定的业务规则（例如按订单号、专利号或多列组合）来识别重复记录，并提取出需要后续处理的精确行号，而不是盲目地删除所有看起来相似的行。

只读扫描与精确行号输出

该技能采用无副作用的只读（Read-only）工作流，遵循“勘察 → 分析”两步法，确保原始数据在分析阶段绝对安全。

• 灵活的关键列定义：支持指定单列（如 E列）或多列联合查重，满足复杂业务场景的匹配需求。
• 明确的保留策略：默认采用“保留首次出现”（Keep first）的策略，亦可根据需求解析阶段的指示调整。
• 工程化的输出结果：直接返回基于 Excel 实际行号（如第 1 行表头，第 2 行首条数据）的重复统计与行号列表，无缝对接后续的删除或处理流程。

适用边界与注意事项

在将查重结果用于自动化清理前，请务必关注以下技术细节：

• 空值（Null）处理逻辑：当关键列包含空值时，多行空值会被判定为重复，且仅保留第一条。如果业务逻辑中空值应被视为合法且唯一的数据，需提前剔除或调整匹配规则。
• 大文件性能开销：技能底层依赖 pandas 进行数据加载，处理超大体积文件（如 168MB/33万行数据）时，纯读取与扫描可能需要约 150 秒，建议在非高峰时段执行或提前进行数据分片。
• 行号基准：输出的行号严格遵循 Excel 标准视图（1-based），可直接用于 excel-delete 等下游技能的输入，避免因索引偏移导致的错删。