DuckDB SQL 分析代理
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md 的指南,将 @user_3c6cb52e/duckdb-sql-analytics-agent 安装到当前 AI 助手中。
技能介绍
本地分析型查询的痛点
当你手头只有一堆散落在磁盘的CSV、Parquet或JSON文件,却需要做筛选、聚合、窗口函数这类OLAP风格的分析时,Excel会因数据量卡顿,pandas在大文件下内存占用高,而搭建传统数据库服务器又显得过于重型。这个技能瞄准的就是这类「本地文件 + 轻量分析」的场景。
技能如何工作
它基于DuckDB进程内数据库引擎,核心能力是直接对磁盘上的平铺文件执行分析型SQL,全程无需启动独立服务。
- 数据导入零成本:对CSV和Parquet文件,只需在SQL的
FROM子句中直接引用文件路径,无需提前加载到内存或做格式转换; - 原生支持多格式:覆盖常见的结构化数据格式,包括CSV、Parquet、JSON;
- OLAP风格查询:支持标准的分析型SQL语法,能完成聚合、分组、排序、窗口函数等典型分析操作。
适用边界与注意点
- 开发环境依赖:若需要从源码编译DuckDB,需准备
CMake、Python 3和符合C++17标准的编译器,在项目根目录执行make即可完成编译; - 运行形态可选:DuckDB提供独立的CLI应用,同时提供Python、R等语言的客户端,可匹配不同的使用习惯;
- 场景定位明确:它专注于「本地文件的即席分析」,不适合需要多用户并发、高吞吐写入的在线交易型(OLTP)场景。
使用场景
- 数据分析师手头有几十份几百兆的 CSV 日志文件,需要用 SQL 快速聚合出各渠道的转化漏斗,不想搭建数据库服务器。
- 后端工程师需要临时查询本地生成的 Parquet 格式用户行为数据,通过窗口函数计算七日留存率,直接在命令行执行。
- 研究人员收集了一批散落的 JSON 格式问卷数据,需要将其与同目录下的 CSV 数据做多表关联和分组统计,提取图表指标。
- 运维人员需要对本地导出的服务器性能 CSV 报表进行时间窗口内的峰值聚合与排序,找出负载最高的时段,无需大数据平台。
适合人员
- 数据分析师:需要处理海量本地 CSV 文件,希望用熟悉的 SQL 语法直接完成复杂聚合,摆脱对重型大数据平台的依赖。
- 后端开发工程师:偶尔需要排查本地日志或验证数据管道产物,诉求是无需启动重型数据库服务即可快速查询 Parquet 文件。
- 算法与数据研究人员:面对多种格式的本地数据集,希望用一套统一的 SQL 接口进行即席探索和特征提取,降低数据准备成本。
- 独立开发者与全栈工程师:在构建个人项目时,需要一个轻量级本地分析引擎对 JSON 和 CSV 进行快速统计,避免引入沉重的后端架构。