Agent Skills
返回列表
📊

Bright Data 网页采集与搜索

数据分析 更新于 2026.08.30

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @org-eyw2ohcx/sundial-org-awesome-openclaw-skills-brightdata。

技能介绍

问题背景

需要从搜索引擎拿可机读的结果,或从带反爬、验证码的站点拉正文时,自建代理与解析往往费时且不稳定。Bright Data 提供 Web Unlocker 与 SERP API,本技能把它们封装成助手可直接调用的能力。

能力说明

Google 搜索:调用 SERP 接口,返回结构化 JSON,有机结果里包含 title、link、description 等字段;可通过 cursor 做分页(从 0 起)。

网页采集:对任意 URL 抓取页面,输出干净 Markdown,由 Unlocker 侧处理机器人检测与 CAPTCHA 等拦截。

使用前需在 Bright Data Dashboard 获取 API Key,并在控制面板创建 Unlocker zone,再把凭据写入环境变量(见 SKILL 中的 Setup)。

边界与注意

  • 搜索能力面向 Google 结构化结果,不是通用多引擎聚合。
  • 采集依赖 Bright Data 账号与 Unlocker 配额/计费,未配置 Key 与 zone 时无法调用。
  • 页面转 Markdown 的质量取决于目标站点结构,动态渲染过重时仍可能需结合业务侧校验。

使用场景

  • 竞品与行业监测脚本需按关键词分页拉取 Google 有机结果并入库 JSON
  • 法务或风控要从易被 Cloudflare 拦截的公开公告页导出 Markdown 存档
  • 研究助理按固定查询模板采集搜索结果中的标题、链接与摘要做文献台账
  • 数据管道在无法直连目标站点时,用 Unlocker 拉取页面正文再下游解析

适合人员

  • 写爬虫与 ETL 的数据工程师,需要可计费、可运维的第三方 Unlocker 而非自维护 IP 池
  • 做 SEO 或投放竞品分析的分析师,要把 SERP 字段稳定写入报表或数据库
  • 在助手工作流里编排「先搜再抓」自动化的 AI 应用开发者
  • 合规调查人员需从难直连的公开网页批量留存 Markdown 证据链