Agent Skills
返回列表
💻

Crawlee 网页爬取与浏览器自动化库

开发编程 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中：

请根据 https://skillhub.cn/install/skillhub.md，安装 @user_3c6cb52e/crawlee-web-crawling-browser-automation-library。

技能介绍

网络爬取的常见痛点

在构建采集管道时，动态渲染的单页应用（SPA）、反爬策略、请求调度、浏览器资源管理往往会让爬取变得复杂。直接用requests库容易漏掉JS渲染的内容，手动管理队列又难以应对大规模抓取中的重试、去重和流量控制。

核心能力与工作方式

该技能封装了Apify开源的Crawlee库，针对上述问题提供了结构化解决方案：

  • 支持请求队列管理，自动处理重试、去重与并发控制，避免重复抓取和请求过载
  • 集成Playwright/Puppeteer引擎，可执行JS渲染的SPA页面，确保动态内容完整抓取
  • 内置结构化数据集导出能力，直接生成JSON、CSV等格式数据，无需额外解析
  • 具备弹性抓取机制，在大量页面采集时自动应对网络波动和临时故障

使用时可先通过CLI生成入门示例，初始化爬虫配置，然后选择浏览器引擎（Playwright或Puppeteer）启动抓取，最后导出结构化数据。整个过程无需手动处理队列调度和浏览器生命周期管理。

适用边界与注意点

  • 需要Node.js 16及以上版本运行环境
  • 若偏好Python开发，需使用对应的Python版Crawlee，而非当前JavaScript版本
  • 复杂反爬场景仍需结合代理池等外部策略，技能本身不提供代理轮换功能

使用场景

  • 需要批量抓取动态渲染的SPA页面，并导出结构化JSON数据用于后续分析
  • 大规模爬取时需要自动重试与去重，避免重复请求同一页面导致被封
  • 需要同时抓取数千个页面并保持稳定性，自动应对临时的网络波动与故障
  • 使用Node.js构建自动化采集管道，需要浏览器引擎支持JS渲染内容

适合人员

  • 前端工程师，需要抓取动态渲染站点数据用于产品分析
  • 后端开发者，构建自动化采集服务需要请求队列与重试机制
  • 数据工程师，处理大规模网页抓取任务需要结构化导出与容错
  • 爬虫工程师，在Node.js环境中管理浏览器自动化流程