Pandas DataFrame 管道编排器

先解决什么问题

日常数据分析里，DataFrame 清洗、转换、聚合常常散落在多个脚本或 notebook cell 中。结果就是：同一份数据换个人跑，可能因为 fillna() 策略、astype() 顺序或 category 列是否生效而得到不同结果。更麻烦的是，转换步骤一旦增多，就很难回答“这份输出到底经过了哪些处理”。这个技能要解决的，不是再写一个封装库，而是给 pandas 转换过程一个可组合、可复现、可审计的编排方式。

技能如何工作

核心思路是把每一步转换写成独立函数，再用 pipe() 把它们串起来。这样流水线本身也是数据流的一部分：输入 DataFrame 进入第一个函数，输出再交给下一个函数。关键能力包括：

• 缺失值处理：用 fillna() 按列或全局策略补齐，而不是临时写死数字。
• 类型规整：用 astype() 控制数值、时间、字符串等 dtype，减少后续运算歧义。
• 内存优化：对低基数文本列尝试 astype('category')，在合适场景降低占用。
• 复现与审计：步骤顺序显式写在 pipe() 链中，容易查看、测试和回滚。

适用边界与注意点

它适合结构化表格数据和“单次 ETL/分析流水线”场景，而不是任务调度平台。category 列对数值运算和某些合并操作有额外约束，高基数文本不要盲目转换。上游资料来自 pandas 项目文档，从源码构建时还需要注意 Cython 等额外依赖；使用前应先在小样本上验证 dtype 和缺失值策略。