ScrapingBee API 数据采集器

解决什么问题

动态页面抓取常见的两个痛点：一是服务端渲染拿不到数据，页面内容全靠 JavaScript 执行后才出现，直接请求只能拿到一个空壳 HTML；二是搜索结果页（Google SERP）结构复杂且频繁变动，自己写解析规则维护成本高。这个技能把这类工作交给 ScrapingBee 的 REST API 统一处理，让 Agent 可以通过结构化接口拿到渲染后的页面内容或搜索结果数据，而不是自己拼装一套渲染 + 解析链路。

工作原理

该技能作为 ScrapingBee REST API 的调用封装，核心能力包括：

• JavaScript 渲染抓取：针对前端渲染页面，由 ScrapingBee 侧完成脚本执行，返回渲染后的内容。
• Google 搜索结果提取：通过 custom_google 参数触发搜索结果解析，直接返回结构化的搜索结果数据，无需自行编写选择器。
• 页面截图归档：调用 screenshot 端点，对目标页面做可视化快照，适用于需要留档或人工复核的场景。

使用时需要一个 ScrapingBee API Key，配合 Node 端的 scrapingbee 库发起请求。技能本身不负责代理池或验证码绕过等细节，这些由上游 API 承载。

适用边界与注意点

• 依赖外部服务：渲染与解析全部在 ScrapingBee 服务端完成，结果质量和可用性受上游 API 影响，需自行评估配额与延迟。
• 搜索解析适用场景有限：custom_google 只针对 Google 搜索结果页的结构化解析，不适用于通用列表页或站点内搜索。
• 截图是附加能力：screenshot 端点用于视觉归档，不等于正文提取，按需组合使用。
• 凭证管理：API Key 属于敏感信息，应通过环境变量等方式注入，避免硬编码进脚本。