Crawlee 智能爬虫代理

手工爬虫的核心痛点

手动维护两套爬虫代码，分别处理静态 HTML 与动态渲染页面，切换成本高；重试逻辑、去重、并发控制分散在各处，难以统一维护；站点反爬策略升级后，往往需要改写整段逻辑，调试链路长且难以复用。

技能的工作方式

该技能基于 Crawlee 框架封装，核心是自适应请求路由。针对不同页面类型，自动在 CheerioCrawler（轻量静态解析）和 PlaywrightCrawler（完整浏览器渲染）之间选择最优执行器。同时内置请求队列管理，自动处理重试、去重与并发控制。

执行流程可拆解为：

• 目标识别：根据页面内容特征判断需采用的爬取策略。
• 队列调度：通过统一的请求队列管理任务，自动重试失败请求，避免重复爬取。
• 反爬应对：内置常见挑战处理逻辑，如 User-Agent 轮换、请求间隔控制等，降低被封风险。
• 数据导出：爬取完成后将结构化数据（如 JSON）导出至指定路径，便于后续分析。

适用边界与注意点

该技能依赖 Crawlee 框架，要求 Node.js 16 及以上版本环境；对需复杂交互（如登录后爬取）的场景，需自行扩展 PlaywrightCrawler 的自定义逻辑；使用时需遵循目标站点的 robots 协议与服务条款，避免违规爬取。