Firecrawl 网页爬虫

为什么需要它

当你需要从文档站点、知识库或内容门户批量提取信息时，逐个请求页面不仅效率低下，还容易遗漏深层链接。firecrawl-crawl 正是为这类「整站采集」场景设计的：它通过跟踪页面间的链接关系，自动爬取符合规则的 URL，并输出结构化内容。

核心能力与工作逻辑

该技能的核心是 广度优先爬取 + 精准范围控制，具体能力包括：

• 深度与广度调节：使用 --max-depth 限制爬取层级，--limit 控制最大页面数，避免无限递归
• 路径过滤：通过 --include-paths 和 --exclude-paths 精确圈定目标目录（如仅抓取 /docs/ 路径）
• 异步控制：默认异步返回任务ID，添加 --wait 参数可同步等待结果，--progress 实时显示进度
• 资源管理：--max-concurrency 调整并发数，--delay 设置请求间隔，平衡速度与服务器压力

典型工作流程遵循 搜索→抓取→映射→爬取→交互 的分层模式：先用 firecrawl-map 发现所有URL，再通过 --include-paths 聚焦核心区域，最终用 --wait 同步获取完整结果。

适用边界与注意点

• 成本敏感场景：每页消耗 credits，建议先用 --limit 10 小规模测试，或通过 firecrawl credit-usage 监控用量
• 异步必要性：大规模爬取建议不使用 --wait，通过任务ID轮询避免超时
• 路径过滤优先级：--include-paths 与 --exclude-paths 同时使用时，排除规则优先生效
• 静态内容假设：依赖JavaScript渲染的页面可能需要结合 firecrawl-scrape 的动态抓取能力

该技能适合结构化数据采集，但需注意目标网站的robots.txt规则和内容更新频率，避免无效爬取。