简诗数据管道工坊
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_fccf428b/data-pipeline-template-kit。
技能介绍
它要解决的问题
把 Shopify、Stripe 这类 SaaS 的数据搬进 BigQuery 或 Google Sheets,说起来就是"抽—转—载"三步,实际做起来却常被拖进细节:每个源的字段名不一样,过滤条件要手写表达式,多源 join 时还要处理时间格式和空值。n8n 的 JSON 工作流动辄几百行,改一个字段要在嵌套结构里翻半天。这个技能把常见的 ETL 模式整理成模板,让构建管道时不必每次从零拼 JSON。
技能如何工作
核心能力覆盖一条完整管道的五个环节:
Extraction:从多个数据源抽取,给出常见 extractor 的字段映射Transformation:清洗与字段改写,附代码级转换示例Loading:写入目标端,列出常用 loaderScheduling:管道定时与触发Monitoring:监控告警与数据质量检查
使用时的典型流程是:
- 声明数据源与过滤条件,如
source: shopify,filter: created_at >= yesterday,并列出所需字段 - 写转换逻辑,用 JavaScript 把订单和支付记录 join 成统一行:取
created_at的日期部分、解析金额、关联支付状态 - 指定目标端,如
BigQuery与Sheets
这更像一个结构化的参考手册,输出的 YAML 和代码片段可以直接作为 n8n 节点配置的起点,而不是凭空生成。
适用边界
- 默认只给出参考性命令和代码,不会自动安装依赖或修改系统权限
- 涉及发送、发布、删除、付款、部署等外部写入操作,必须先展示目标与影响并取得确认
- 凭据仅用于你指定的官方服务,不回显、不记录、不转发
- 需要明确说明要连哪些数据源和目标端,技能才好给出对齐的配置
使用场景
- 将 Shopify 与 Stripe 的订单支付数据整合,清洗后写入 BigQuery 以生成每日销售报表。
- 从 CRM 提取客服对话记录,过滤敏感信息并将结构化结果定期同步到团队在线表格。
- 配置定时触发器监控外部 API,拉取最新业务数据,按条件过滤异常订单并写入监控表。
- 把多张分散的电子表格数据统一格式,编写转换逻辑后加载到 Google Sheets 供团队共享。
适合人员
- 需要编写 n8n 脚本将多种 SaaS 业务数据接入数据仓库的数据工程师。
- 为个人项目搭建轻量级数据管道,将业务数据同步至云端表格的独立开发者。
- 定期处理多源原始数据,需要快速构建 ETL 任务以清洗数据的分析人员。