公开数据助手
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @org-02qudk26/brightdata-automation。
技能介绍
它解决什么问题
围绕 Brightdata 做公开数据自动化时,工程师通常要面对三类琐碎工作:一是搞清楚工具包当前有哪些可用工具、参数结构是什么,这类信息会随版本变化;二是维护 Brightdata 的连接状态,断连或未授权会让流程在运行中途失败;三是在多步任务中管理会话与分页,漏掉一次分页请求就意味着数据集不完整。
这个技能的做法是把这类编排工作交给 Rube MCP,让模型在执行任何业务操作之前先「摸清环境」,再按固定模式推进。
核心工作方式
技能基于 Composio 的 Brightdata 工具包,通过 Rube MCP 提供服务。接入方式很简单:在客户端配置中添加 Rube MCP 服务地址 https://rube.app/mcp 即可,不需要准备任何 API 密钥。
关键步骤分三步:
- 发现工具:任何工作流开始前,先调用
RUBE_SEARCH_TOOLS获取当前 Brightdata 工具的 slug、输入 schema、推荐执行计划和已知坑点。 - 检查连接:调用
RUBE_MANAGE_CONNECTIONS并指定toolkit brightdata,确认连接状态为ACTIVE;若未激活,按返回的授权链接完成配置。 - 执行任务:用
RUBE_MULTI_EXECUTE_TOOL传入上一步发现的 tool slug 执行操作,批量任务可用RUBE_REMOTE_WORKBENCH。
适用边界与注意点
- 永远先搜索:工具 schema 会变化,不要硬编码 slug 或参数,每次工作流都从
RUBE_SEARCH_TOOLS开始。 - schema 严格匹配:使用搜索返回的字段名和类型,不要凭经验假设。
- memory 参数必填:即使为空也要传
{}。 - 会话复用:同一工作流内复用 session ID,新工作流才生成新的。
- 分页要拉全:检查响应中的分页 token,持续请求直到数据完整。
使用场景
- 需要按关键词批量采集公开网页数据,结果分多页时自动翻页拉取,避免手动逐条操作控制台。
- 接入 Composio 的 Brightdata 工具包后,先检查连接状态再跑第一个任务,确认授权流程是否完成。
- 把多个抓取任务串成一个自动化流程,在流程内复用会话 ID,减少重复授权和状态丢失。
- 定期更新公开数据集,按工具返回的推荐执行计划分步跑完多个抓取任务,汇总成一份报告。
适合人员
- 爬虫工程师,需要在多页公开数据抓取中自动处理分页,减少手工翻页和状态维护。
- 数据团队负责人,希望把 Brightdata 的多个抓取步骤串成可复用流程,降低人工干预。
- 集成开发者,正在通过 MCP 客户端接入 Composio 工具包,需要先确认连接和 schema 再执行任务。