技能介绍

解决什么问题

大型站点的页面数量可能远超直觉，尤其是文档站、电商目录、知识库或新闻门户。你只知道域名，却不知道目标内容在哪个路径；或者你准备做批量抓取，需要先拿到一份较完整的 URL 清单来评估规模、去重和规划任务。手工翻目录、猜路径、读 sitemap 都很慢，而且容易漏掉子域名、分页页或深层路由。

技能如何工作

firecrawl-map 围绕“发现 URL”这一个职责设计。它不负责把页面正文抓下来，而是先列出站点上值得后续处理的地址集合。核心能力包括：

--limit：限制返回 URL 数量，避免在超大站点上一次枚举过多结果；
--search：按关键词过滤 URL，适合在文档站中定位 auth、billing、api 这类目标页面；
--sitemap：控制 sitemap 处理策略，当站点提供 sitemap 时可利用其结构加速发现；
--include-subdomains：把 docs.example.com、api.example.com 等子域名也纳入结果；
--json 与 -o, --output：便于把 URL 列表接入脚本、队列或后续抓取流程。

典型工作流是：先用 map --search 找到具体子页面，再用 firecrawl-scrape 抓取该页面。例如 map https://docs.example.com --search "auth" 可能得到 /docs/api/authentication，然后只对这一个 URL 执行 scrape。若需要整站批量提取，firecrawl-crawl 通常比逐个 map + scrape 更合适；若需要整站下载，firecrawl-download 内部也会使用 map 能力。

适用边界

它解决的是“知道有哪些 URL”，不是“拿到页面内容”。如果站点依赖登录、JS 渲染后才出现的动态路由，或 URL 结构无法从静态入口推断，map 结果可能不完整。--limit 也会引入截断，需要结合业务判断上限。站点规模很大时，应配合 --search 或 sitemap 策略缩小范围，而不是默认枚举全部 URL。