qsv飞速CSV数据处理工具包

你要处理的问题

拿到一个几百 MB 的 CSV 时，常见的做法是写个 pandas 脚本：全量读进来、处理、再 to_csv 写回去。这条路有两个老问题——文件要整体驻留内存，以及导出格式不可控带来的引号丢失、日期格式漂移、编码异常。更麻烦的是清洗逻辑越写越多，脚本就成了没人敢动的一坨。

qsv 的思路是把这些操作拆成一系列可流式执行的命令，每条只做一件事，产物仍然是普通 CSV，中间任何一步都可以停下来检查。

它是怎么工作的

qsv 是一套用 Rust 实现的命令行工具包，对外提供 50 多个子命令，大致覆盖查询、转换、校验、分析四类动作。输入不局限于 CSV，也支持 Excel、Parquet、JSON 等常见表格格式。

几个值得了解的典型命令：

• py：对 CSV 的每一行求值一个 Python 表达式，既可以生成新的计算列，也能直接按表达式结果过滤行，表达式里可以直接用 f-string。
• luau：面向更复杂的清洗逻辑，一次可以生成多个新列、过滤行、计算聚合，适合条件分支较多的场景。
• moarstats：在已有的 stats 结果之上再叠加最多 55 项统计量，包括离群点检测、稳健统计和双变量统计。

实际使用时通常是这样的链条：先跑一遍 stats 看分布，再挑出需要的列做投影，最后用 py 或 luau 补上业务计算列。每步输出都是中间产物，方便断点续跑。

适用边界与注意点

它适合单机批处理的表格场景，不适合需要随机访问、多表 JOIN 或亚秒级响应的在线服务——那类需求交给数据库或 DuckDB、Spark 之类的引擎更合适。另外：

• py 和 luau 在处理大文件时明显慢于纯 Rust 路径，因为每行都要进入脚本运行时求值。动手前先确认能不能用内置命令替代。
• 这份技能的资料是从 qsv 上游 README 抽取整理的，命令集合和参数细节以你实际安装到的版本为准，升级前值得对照一次上游文档。
• 它的定位是命令参考与用法指引，不是封装好的函数库，管道仍然需要你自己组织。