DuckDB 命令行专家
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @org-eyw2ohcx/sundial-org-awesome-openclaw-skills-duckdb-en。
技能介绍
你在本地碰到的典型痛点
手边是 CSV、JSON 或 Parquet,却不想先搭一整套数据库,再用 ETL 抽一遍表;或者你只想在终端里用 SQL 做聚合、过滤和 join,再按不同格式把结果交给下游(表格、Markdown、HTML、JSON)。DuckDB 的 CLI 就是为这种「文件即表、一条 SQL 跑完」的工作方式设计的,但参数、点命令(dot commands)和输出模式很多,查阅官方文档往往碎片化。
技能覆盖的能力与用法
本技能相当于一份面向 DuckDB CLI 的操作手册,围绕三类主线组织内容:
- 命令行启动与执行:用
-c跑单条 SQL 后退出,-f执行脚本文件,-readonly只读打开库;输出可通过-csv、-json、-markdown、-table等 flag 直接指定格式。 - 文件与格式转换:CSV ↔ Parquet、JSON → Parquet,并在转换链路上做 SQL 过滤;配合
read_csv_auto、read_json_auto自动推断列类型,适合快速落地「读文件 → 写 Parquet」。 - 交互式点命令:
.tables/.schema看结构,.mode、.output、.headers控制展示与落盘,.read载入脚本,.edit调外部编辑器写复杂查询(DUCKDB_EDITOR→EDITOR→VISUAL链)。
此外还整理了 18 种输出模式(如 jsonlines、duckbox、insert)、macOS/Linux 快捷键与 Tab 补全(关键字、表名、列名、路径),以及 ~/.duckdbrc 里语法高亮、常用 .mode 等配置。分析示例包括分组统计、多文件 join、DESCRIBE、管道 stdin 等典型套路。
边界与注意点
- 技能讲的是 DuckDB CLI 用法,不包含 Python/R 内嵌 API 或服务器部署。
- Safe Mode 一旦开启会禁止外部文件访问及相关 dot 命令,且同一会话内无法关闭,做批处理前要确认是否需要该模式。
- 大文件预览建议先
LIMIT;重复查询时 Parquet 通常比 CSV 更省事。WSL2 下部分 Ubuntu 版本可能显示异常的memory_limit,属于环境 quirks,不是查询逻辑问题。
使用场景
- 审计同事发来多份 CSV,需要在终端用 SQL 做过滤和汇总,再导出为 Parquet 供下游 BI 反复查询
- 本地只有 JSON 日志文件,想用 `read_json_auto` 推断列类型后转成 Parquet 并删掉无效行
- 在交互式 shell 里用 `.schema` 看清表结构,`.mode markdown` 把查询结果直接贴进技术文档
- 通过管道把上游命令输出 stdin 进 DuckDB,用 `-c` 跑一条聚合 SQL 并以 `-json` 格式交给脚本消费
适合人员
- 数据工程师,经常在笔记本上对 Parquet/CSV 做 ad-hoc SQL 而不想起完整数仓环境
- 技术写作者,需要把 CLI 查询结果快速格式化为 Markdown 或 HTML 表格放进仓库文档
- 安全审计岗位,需要在只读模式下打开 DuckDB 库并用 Safe Mode 限制文件访问做合规查询
- Linux/macOS 终端用户,依赖 Tab 补全和 `.edit` 在外部编辑器里维护较长 SQL 脚本