技能介绍

为什么需要结构化的表格合并流程

在日常数据分析中，工程师和数据分析师经常需要处理来自不同业务线、不同时期导出的 CSV 或 Excel 文件。这些文件往往存在列名不一致（如 User_ID 和 用户ID）、数据格式混乱（日期格式混杂、存在多余空格）、以及跨表合并时主键冲突或重复行等问题。如果仅靠编写临时的 Pandas 脚本手动处理，不仅调试成本高，而且在出现数据错乱时难以快速追溯原因。

技能的核心能力与工作流

这个技能将表格合并拆解为一条标准化的流水线，核心依赖于 pandas 进行底层数据处理，并强制引入了审计与校验环节。

输入探查与规划：技能会首先读取所有输入文件的表头，推断数据类型与编码格式（如 UTF-8 或 Latin-1）。随后，它会制定统一的 Schema 映射策略。列名匹配遵循严格降级原则：先精确匹配，再忽略大小写，最后才使用模糊匹配。所有匹配映射都会输出，确保操作可追溯。
执行合并与清洗：针对混合数据类型（如电话号码、国家代码），技能会在去重前统一执行格式标准化（去空格、统一大小写）。如果遇到没有单一唯一列的场景，技能支持使用 subset=[...] 指定复合主键（Compound Keys）进行合并。
强制校验与报告：合并完成后，技能不会直接交付结果，而是会校验输入与输出的行数是否匹配、主键是否确实保持唯一。最终输出一份包含处理细节的 Markdown 报告，清晰展示去除了多少重复行、哪些列存在空值，以及如何处理了冲突。

适用边界与特殊场景处理

超大文件处理：对于超过 100MB 的 CSV 文件，技能采用 pd.read_csv(path, chunksize=...) 进行分块读取与处理，避免一次性加载导致内存溢出，并在处理过程中提供进度反馈。
数据完整性保障：遇到缺失的列，技能会用空值填充并在报告中显式标记，严禁静默丢弃数据。
安全与确认机制：技能默认将生成的代码作为参考方案。在执行任何涉及外部写入（如发送、发布）的动作前，必须先获得用户的明确确认。对于凭据处理，严格遵循安全规范，仅用于指定的官方服务，不进行回显或持久化记录。

最终，用户可以将合并后的数据导出为 CSV、Excel、JSON、SQL INSERT 语句或 Parquet 格式，完全适配下游的数据库导入或分析需求。