Agent Skills
返回列表
多源数据清洗器

多源数据清洗器

数据分析 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @user_26bdbd50/multi-source-data-cleaner。

技能介绍

要解决的问题

业务数据常散落在 Excel、CSV、JSON 和剪贴板文本中。不同系统导出的字段名不一致,同一批订单可能出现重复行,手机号、日期、金额格式不统一,地址也缺少省市区结构。人工逐列修正成本高,合并多系统数据时还容易因关键字段缺失或冲突造成误关联。

技能如何工作

该技能把清洗流程拆成可组合步骤:先解析输入,再识别字段,然后执行清洗、补全、格式化和合并。

  • 多格式解析:支持 .xlsx、.xls、CSV、TSV、半结构化 JSON 与粘贴文本。
  • 字段识别:自动识别姓名、电话、邮箱、地址、金额、日期、SKU、订单号、身份证号等字段,并允许用户覆盖字段映射。
  • 数据清洗:支持精确去重与模糊去重;缺失值可用均值、众数、语义推理或留空处理;电话、日期、金额、地址可规范化为固定格式。
  • 多源合并:基于关键字段跨文件关联;无精确键时可用模糊匹配,并按来源顺序或最新时间戳处理冲突字段。
  • 结果输出:可导出 Excel / CSV,也可写入飞书多维表,并生成 Markdown 数据质量报告。

适用边界与注意点

它更适合中小规模表格和半结构化数据整理,不是通用数据库 ETL 引擎。模糊去重阈值固定在 88%,对姓名、订单号等相似值较多时可能误合并;语义填充与 AI 标签依赖外部模型,结果需人工抽检。Pro 档才包含多源合并、AI 分类、数据质量报告和飞书多维表输出;免费与基础档在行数、数据源数量和清洗能力上有限制。若字段业务含义复杂,建议先做字段映射验证,再批量执行清洗。

使用场景

  • 电商运营把订单、退货、SKU 多份表格清洗为字段统一的订单明细。
  • CRM 管理员清理客户联系人姓名、电话、邮箱、地址字段并去除重复记录。
  • 财务对账把银行流水与内部付款表按日期、金额和订单号合并核对。
  • 数据分析师把多系统导出的半结构化 JSON/CSV 整理成可分析表格。

适合人员

  • 维护客户主数据的 CRM 运营,需要统一联系人字段并去重。
  • 处理售后和订单异常的电商运营,需要合并多张订单与 SKU 表。
  • 做银行流水或付款核对的财务专员,需要按日期、金额关联核对。
  • 负责报表数据准备的数据分析师,需要把杂表整理成分析格式。