智能数据分析 Plus
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_af28adda/duckdb-data-analyst-plus。
技能介绍
你在本地表格分析里常遇到的问题
Agent 或手写脚本往往直接堆 pandas.read_csv、临时改列名再试 SQL,列名含空格、保留字或非拉丁字符时一查就报错;大表上 SELECT * 或全表扫描也容易拖垮本机。更麻烦的是多文件 JOIN 前不清楚各表基数与可匹配字段,分析结论难以复用到定时任务里。
技能如何工作
DuckDB Data Analyst Plus 引导你用捆绑的 CLI(后端 scripts/duckdb_analyzer.py)完成一条可重复的流水线,而不是零散的 pandas 片段:
- 用
describe --ai_context --profile_level compact --json拿到 schema 与安全的sql_ref,再据此生成一条只读 DuckDB SQL。 - 用
query --json执行;默认max_rows=1000、timeout_seconds=30、max_query_risk=medium。失败时用diagnosis.available_columns、table_sql_ref、hint改 SQL。 - 用
analyze --analysis_templates ... --json跑首遍报告;模板包括missing、topn、distribution、trend、outliers、correlation等。 - 多表场景:
--table_files注册后catalog --ai_context --json,结合join_candidates与基数信息再写 JOIN;自动多表分析会返回join_quality、dimension_rollups、chart_hints等。 - 需要外部调度重复跑时,在成功的一次 run 上加
--export_task ./scheduled_analysis.py,得到标准库启动器(不替你建 cron,只固化参数与后端路径)。
Excel 侧支持 --excel_mode auto|pandas|stream,大 xlsx 可流式读取;查询结果可导出 xlsx。大文件可 --persist_db_path 避免反复加载。
边界与注意点
- 用户 SQL 必须是只读单语句;不要用
--allow_unsafe_sql承载 AI 生成的危险语句。SQL 里不能内嵌外部读文件的表函数,文件须通过 CLI 选项注册。 --sample_fraction只抽样查询结果,不能减轻内层全表扫描;源表抽样要在 SQL 里写USING SAMPLE。- 导出任务启动器不拷贝数据与依赖,执行机要能访问捕获的路径并安装
requirements.txt;失败时 JSON 里success: false,需同时看进程退出码与 payload。 - Agent 反复调用可用
--agent_run_id、--agent_state_path、max_agent_query_units等控预算;这些不会进导出的调度脚本。
使用场景
- 本地有一份 80MB 的 xlsx,需要先看清 sheet 列类型与 sql_ref,再写带 LIMIT 的聚合 SQL 验证业务口径
- CSV 与 Parquet 各一张表,要在 JOIN 前用 catalog 看 join_candidates 和匹配率,再产出 join_quality 摘要
- 首次探索新数据集,要一键跑 missing/topn/distribution 模板出结构化 JSON 给 Agent 写解读
- 分析脚本已定稿,需要把 describe/query 参数固化成 scheduled_analysis.py 交给现有 cron 每周重跑
适合人员
- 数据分析师:手头多是本地 CSV/Excel,希望 Agent 按 sql_ref 生成只读 DuckDB 而非一长串不可控的 pandas
- 数据平台工程师:要把探索性查询收敛到带超时、行数上限和风险等级的 CLI 调用,便于审计
- 业务侧量化同学:不会常驻数仓,但需要多表注册、标准分析模板和可导出的 xlsx 结果
- 维护定时报表的后端开发:已有调度系统,只想嵌入 export_task 启动器而不是在仓库里再写一套 DuckDB 封装