Agent Skills
返回列表
📊

Pandas 表格数据处理

数据分析 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @kunlungrowth/pandas-pro 这个表格数据处理技能。

技能介绍

它解决什么问题

数据清洗的大部分事故不在算法,而在工程细节:合并后行数悄悄膨胀、时序重采样把区间边界算错、内存在几次 copy 之后翻倍。表格数据处理 把这类工作收敛成一套固定流程——先看懂结构,再设计变换,最后用断言把结果钉住。

核心能力与工作流

  • 向量化优先:按需求拆成向量化操作,明确索引与轴方向,尽量用方法链而不是循环。
  • 分五步执行:

1. 评估结构:检查 dtype、缺失情况与内存占用。
2. 设计变换:优先向量化实现,明确索引。
3. 实现:使用方法链,避免循环。
4. 校验:对行数、空值、列集合做断言。
5. 输出工件:返回 PandasResult。

覆盖 DataFrame 清洗、聚合、合并,时间序列重采样、缺失值处理,以及较大数据集的性能优化。

输出与下游衔接

每次输出两段:结构化工件 PandasResult(shape、transforms、nulls、notes)加一段自然语言摘要,给出质量自检结果与最该改的 2~3 点。完整模板(工作流要点、质量自检清单、工件示例、常见陷阱)在 references/template.md。

结构化结果可被下游的 sql-pro、postgres-pro 消费,沉淀成查询。

适用边界

适合单进程内存内的表格处理。数据超过内存时,应改用 spark-engineer;需要深度学习建模的场景不在范围内。

使用场景

  • 手上有两份 Excel,需要按订单号和日期双键关联后按月份汇总销售额,同时确认没有笛卡尔积膨胀。
  • 每日 CSV 日志有缺失时间戳,需要按小时重采样补齐空值,再断言列集合没有意外变化。
  • 百万行的用户行为表在内存里跑得慢,需要找出可以合并的重复 `copy`,把 `dtype` 从 `object` 转成 `category` 降内存。
  • 季度报表要把三张结构不同的表合并成一张宽表,合并后需要断言行数、空值数量和列名完全一致。

适合人员

  • 数据分析师:每周要把多个业务系统的导出表关联汇总,担心 merge 后行数对不上但没时间逐行核对。
  • 后端工程师:在 FastAPI 或定时任务里处理 DataFrame,需要把向量化写法和内存优化固化成标准流程。
  • 量化研究员:用 pandas 处理分钟级行情,需要重采样和缺失值处理有明确断言,避免无声的数据错位。
  • 增长团队运营:把投放数据和转化日志按日期对齐,希望输出结构化结果后交给 SQL 同事沉淀成报表。