Agent Skills
返回列表
API 数据采集连接器

API 数据采集连接器

开发编程 更新于 2026.08.30

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @user_15292d5a/yjkj-api-ingestion-connectors。

技能介绍

要解决什么问题

知识图谱与图数据库流水线往往卡在「数据还在别人家的 API 里」:REST 分页、GraphQL 查询、OAuth 换票、限流与超时,响应形态又是嵌套 JSON,很难直接落成节点、边或 RDF 三元组。手工写采集脚本容易在鉴权刷新、翻页策略和 schema 校验上重复踩坑,下游的转换、装载技能也拿不到稳定输入。

技能如何工作

本技能把「从外部 API 取数 → 图谱就绪结构」当成一条可配置的连接器流程,典型步骤包括:

  1. 校验配置:端点、鉴权与请求参数
  2. 鉴权:API Key、Bearer、OAuth 2.0(授权码 / 客户端凭证)
  3. 请求与翻页:offset/limit、按页、cursor 等策略拉全量
  4. 解析与转换:校验响应,映射为节点-边、图三元组或 CSV/JSON 数据集
  5. 交给下游:对接 JSON→三元组、CSV 图装载、ETL 编排等技能

支持的 API 类型涵盖标准 REST、GraphQL 及常见鉴权方式。错误处理侧应覆盖网络重试(指数退避)、鉴权失败与 token 刷新、rate limit、畸形响应与超时。

实践上可参考 requests/httpx、gql、authlib、pydantic 等库组合实现;凭证应走环境变量,并遵守服务条款与限流。

适用边界与注意点

  • 技能描述的是连接器模式与流水线步骤,具体字段映射、业务 schema 仍需你按目标图谱自行定义。
  • 文档提到 connector-patterns.md、example-connectors.md 作为模式与示例参考,落地时要对照目标 API 的版本与分页语义。
  • 实时增量、复杂 OAuth 场景或强合规审计,需要在重试、日志与缓存策略上额外加固,不能假设「一次拉全」就够。

使用场景

  • 需要从多个 REST SaaS 接口按 offset 或 cursor 分页拉全量,并把 JSON 映射为图库可用的节点与边。
  • 对接 OAuth 2.0 保护的 GraphQL 端点,执行结构化查询后将结果整理为 RDF 三元组供下游校验。
  • 在数据管道里配置 API Key/Bearer 鉴权、请求头与翻页规则,输出 JSON 或 CSV 给图装载技能。
  • 从限流较严的外部 API 持续采集实体数据,需处理 token 刷新、超时与指数退避重试。

适合人员

  • 负责把第三方 REST/GraphQL 接口数据汇入知识图谱或图数据库流水线的数据工程师
  • 为 ETL 项目实现可复用连接器、需统一处理 OAuth、翻页与响应校验的后端开发
  • 维护 RDF/语义网管线、要把 API 响应转为节点-边或三元组的平台或研究研发
  • 对接企业 SaaS 开放平台 API、需将采集结果标准化为 graph-ready 数据集的数据平台工程师