网页数据提取助手
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @org-02qudk26/kadoa-automation。
技能介绍
背景
在 Agent 里做网页抓取、结构化提取或 Kadoa 工作流时,难点往往不在「点哪个 API」,而在:工具 schema 会随 Composio 更新变化、OAuth 连接是否处于 ACTIVE、以及批量执行时 session 与分页该怎么续跑。本技能描述的是通过 Rube MCP 调用 Composio Kadoa 工具包的标准路径,而不是手写固定 slug 与参数字段。
核心流程
推荐按固定三步走:
- 发现工具:先调用
RUBE_SEARCH_TOOLS,按当前 Kadoa 用例拿到可用 tool slug、输入 schema、推荐执行顺序和已知坑点。 - 校验连接:用
RUBE_MANAGE_CONNECTIONS(toolkit 为kadoa)确认连接;若非ACTIVE,按返回的授权链接完成绑定后再继续。 - 执行工具:用
RUBE_MULTI_EXECUTE_TOOL按 schema 传参;批量或脚本化场景可用RUBE_REMOTE_WORKBENCH里的run_composio_tool()。
执行侧有几条硬约定:RUBE_MULTI_EXECUTE_TOOL 必须带 memory 参数(可为 {});同一工作流内复用 session ID,新工作流再生成;响应里若有分页 token 要拉取到结束。需要完整 schema 时可配合 RUBE_GET_TOOL_SCHEMAS(含 schemaRef 的工具)。
适用边界
- 前置条件是客户端已接入 Rube MCP(
https://rube.app/mcp),且RUBE_SEARCH_TOOLS可用。 - 不要硬编码 tool slug 或字段名;每次执行前以 search 结果为准,否则容易因 schema 变更失败。
- 本技能覆盖的是「经 Rube 驱动 Kadoa」的操作模式,具体站点能否抓、配额与合规仍取决于 Kadoa/Composio 侧能力与你的账号配置。
使用场景
- 在 IDE 或对话 Agent 里接到「从指定网页拉结构化字段」时,先 `RUBE_SEARCH_TOOLS` 拿当前 Kadoa slug 与 schema,再执行提取。
- 新环境或 token 过期后,通过 `RUBE_MANAGE_CONNECTIONS`(toolkit `kadoa`)完成 OAuth,确认 `ACTIVE` 后再跑抓取工作流。
- Kadoa 返回带分页 token 的长结果集时,在同一 session 内续拉,直到 Agent 侧拿到完整数据再汇总或入库。
- 多步、批量 Kadoa 调用不适合逐条手工拼参时,用 `RUBE_REMOTE_WORKBENCH` 的 `run_composio_tool()` 串联执行。
适合人员
- 负责把 Rube MCP 与 Composio Kadoa 接到内部 Agent 的集成工程师,需要可复用的 discover-connect-execute 约定。
- 用对话 Agent 触发网页结构化提取的数据分析同学,希望在连接未 ACTIVE 时能按返回链接完成授权再继续。
- 维护 Agent 客户端、担心 Composio schema 变更导致硬编码失效的平台开发,需要「先 search 再执行」的操作纪律。
- 要在单次 Agent 会话里跑通多页抓取与分页续拉的后端或数据工程师,需明确 session 与 `memory` 参数要求。