Bright Data 网页采集与搜索
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @org-eyw2ohcx/sundial-org-awesome-openclaw-skills-brightdata。
技能介绍
问题背景
需要从搜索引擎拿可机读的结果,或从带反爬、验证码的站点拉正文时,自建代理与解析往往费时且不稳定。Bright Data 提供 Web Unlocker 与 SERP API,本技能把它们封装成助手可直接调用的能力。
能力说明
Google 搜索:调用 SERP 接口,返回结构化 JSON,有机结果里包含 title、link、description 等字段;可通过 cursor 做分页(从 0 起)。
网页采集:对任意 URL 抓取页面,输出干净 Markdown,由 Unlocker 侧处理机器人检测与 CAPTCHA 等拦截。
使用前需在 Bright Data Dashboard 获取 API Key,并在控制面板创建 Unlocker zone,再把凭据写入环境变量(见 SKILL 中的 Setup)。
边界与注意
- 搜索能力面向 Google 结构化结果,不是通用多引擎聚合。
- 采集依赖 Bright Data 账号与 Unlocker 配额/计费,未配置 Key 与 zone 时无法调用。
- 页面转 Markdown 的质量取决于目标站点结构,动态渲染过重时仍可能需结合业务侧校验。
使用场景
- 竞品与行业监测脚本需按关键词分页拉取 Google 有机结果并入库 JSON
- 法务或风控要从易被 Cloudflare 拦截的公开公告页导出 Markdown 存档
- 研究助理按固定查询模板采集搜索结果中的标题、链接与摘要做文献台账
- 数据管道在无法直连目标站点时,用 Unlocker 拉取页面正文再下游解析
适合人员
- 写爬虫与 ETL 的数据工程师,需要可计费、可运维的第三方 Unlocker 而非自维护 IP 池
- 做 SEO 或投放竞品分析的分析师,要把 SERP 字段稳定写入报表或数据库
- 在助手工作流里编排「先搜再抓」自动化的 AI 应用开发者
- 合规调查人员需从难直连的公开网页批量留存 Markdown 证据链