Polars 极速 DataFrame 查询引擎

处理海量表格数据的性能瓶颈

当你面对 GB 级别的 CSV、Parquet 文件或数据库导出结果时，Pandas 或其他传统工具往往会在内存占用和执行速度上遇到瓶颈。单次全量加载可能导致 OOM，而链式操作在大数据量下也会变得异常缓慢。

基于 Rust 的高性能查询引擎

Polars 作为用 Rust 重写的核心引擎，通过多线程并行、零拷贝内存映射以及惰性执行引擎，将查询性能提升数个量级。本技能让 Agent 能够直接调用 Polars 的 Python/Node.js 绑定，无需中间层转换。

核心能力包括：

• 惰性求值：查询计划在 collect() 前不会被执行，避免中间结果物化
• 流式处理：通过 collect(engine='streaming') 以内存友好的方式处理超出内存的数据集\n- 向量化操作：利用 CPU SIMD 指令加速列式计算

典型工作流

1. Agent 接收结构化数据路径或 DataFrame
2. 构建查询链：过滤 → 分组 → 聚合 → 连接
3. 调用 collect(engine='streaming') 触发执行
4. 返回结果或中间态供下游分析

适用边界与注意点

本技能针对结构化表格数据设计，适合日志分析、指标聚合、ETL 转换等场景。但对于非结构化数据（如纯文本、图像），仍需配合其他工具。

上游依赖 polars 库本身，不同环境需确保对应的运行时支持：Python 标准安装或 Node.js 版本。复杂窗口函数或自定义 UDF 的调试仍需参考 Polars 官方文档。

建议在生产环境使用前，先在样本数据上验证查询计划与内存占用。