Crawlee 网页爬取与数据抓取 SDK

要解决的问题

手动拼装 HTTP 客户端、队列、代理轮换、去重、浏览器实例和数据存储，是爬虫开发最容易出错的地方。切换 Playwright、Puppeteer、Cheerio 或纯 HTTP 后端时，往往需要重写大量适配代码。

技能如何工作

Crawlee 把请求队列、浏览器自动化、代理支持和存储原语组合成一个统一工具包：

• 使用 RequestQueue 管理待抓 URL，避免重复请求和并发失控
• 通过 BrowserPool 复用浏览器上下文，降低启动开销
• 内置代理轮换接口，可接入 Apify Proxy 或其他自定义代理
• 提供 Dataset、KeyValueStore 等原语持久化结构化结果

关键步骤：定义路由处理逻辑 → 调用 addRequests() 发起抓取 → 在 requestHandler 中解析响应 → 将清洗后的数据写入 Dataset.pushData()。同一个项目可以在 Node.js 环境中切换解析后端，而不用重写调度和存储层。

适用边界与注意点

• 需要 Node.js 16 或更高版本，更适合长时间运行的爬虫任务
• 若主要使用 Python，请查看 Crawlee for Python，而不是直接在该 SDK 中寻找 Python 入口
• 对于仅抓取单个静态 HTML 页面的一次性脚本，直接使用 fetch 或 axios 会更轻量
• 部署到生产环境前，确认已配置代理轮换、失败重试和速率限制
• 始终遵守目标网站的 robots.txt 和服务条款