Firecrawl 网页数据采集

要解决什么问题

做数据分析、知识库构建或调研时，你往往只有 URL 或模糊的关键词，却要拿到可读的正文、整站页面集合，或带字段的结构化结果。普通 curl 对付不了 JS 渲染页；手写 Playwright 又要在代理、限速和分页上耗大量时间。本技能把 Firecrawl 的抓取能力接到对话里，让 Agent 按你的意图选 API 能力并跑脚本，而不是从零搭爬虫。

技能如何工作

技能围绕 Firecrawl 的几类端点组织工作流：

• Search：按关键词搜索并拉回完整页面内容（不仅是摘要），可限制域名与数据源类型。
• Scrape：把单个 URL 转成 markdown、html、截图或 JSON；支持 only_main_content、代理档位与抓取前浏览器动作。
• Crawl / Map：从起始 URL 爬全站或只发现站内链接，适合站点摸底与批量采集。
• Batch Scrape、Extract、Agent、Interact：多 URL 并行、带 JSON Schema 的字段提取、无 URL 时的自主检索采集，以及抓取后的点击/输入等交互。

典型流程是：先确认你用 Cloud API（需 API Key，经环境变量 FIRECRAWL_API_KEY 传入）还是自托管（默认如 http://localhost:3002，能力相对受限）；按需安装 firecrawl-py；根据任务选 Search+Scrape、整站 Crawl 或 Agent 等组合；结果整理返回，数据量大时落盘再展示。

适用边界与注意点

• Cloud 与自托管在反爬、云端搜索等方面不一致；隐私敏感场景才值得自托管。
• 批量与整站会消耗 credits，并受速率限制，需要控制并发。
• 遵守目标站 robots.txt 与使用条款；不要把 API Key 写死在脚本里。