Agent Skills
返回列表
Firecrawl 整站下载

Firecrawl 整站下载

数据分析 更新于 2026.08.30

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @user_15292d5a/yjkj-firecrawl-download。

技能介绍

解决什么问题

当我们需要将整个网站或文档库完整保存到本地时,手动逐页另存为不仅耗时,而且难以保持原有的目录结构和链接关系。firecrawl-download 正是为了解决这一痛点而生。它适合需要离线访问技术文档、归档知识库,或者进行大规模内容提取并期望获得结构化本地文件的工程师。

核心能力与工作流

该技能本质上是一个结合了 map 与 scrape 的便捷命令。其工作流程分为两步:首先通过 map 阶段发现站点内的所有可访问页面,随后在 scrape 阶段将每个页面抓取并按照 URL 路径映射为嵌套的本地目录结构,统一存放在 .firecrawl/ 目录下。

在执行过程中,你可以充分利用丰富的过滤与抓取选项:

  • 路径控制:使用 --include-paths 和 --exclude-paths 精准限定下载范围,配合 --limit 控制最大页面数。
  • 搜索与域名:通过 --search 过滤特定 URL,或用 --allow-subdomains 包含子域名页面。
  • 抓取增强:支持传入常规的 scrape 参数,例如 --screenshot、--full-page-screenshot、--only-main-content 以及 --wait-for 等,确保抓取内容符合预期。

注意:在自动化流程中,务必始终加上 -y 参数以跳过确认提示。

适用边界与注意事项

由于该工具被标记为 Experimental(实验性),在处理超大规模站点时需谨慎评估资源消耗。虽然它能将内容保存为本地文件,但若你只需要提取结构化的 JSON 数据而非本地文件,建议改用 firecrawl-crawl;若仅需探测 URL 而不下载,则应使用 firecrawl-map。此外,复杂的 SPA 页面或需要复杂交互才能渲染的内容,可能仍需配合特定的等待参数(如 --wait-for)才能获得完整快照。

使用场景

  • 在无网络环境下进行系统开发,需要将完整的 API 文档站点映射并抓取为本地嵌套目录,以便随时查阅。
  • 准备进行历史资料数字化,需将特定子域名的文章批量提取并按 URL 路径保存为本地 Markdown 文件。
  • 审查竞品官网的页面结构与文案,需将目标路径下的所有网页截图并抓取正文,存入本地目录离线分析。

适合人员

  • 后端开发工程师:在无外网环境下调试接口,需要将第三方 API 文档整站抓取为本地文件以供离线查阅。
  • 技术文档撰写者:需要收集大量分散的在线教程和参考手册,将其结构化保存为本地嵌套目录以整理写作素材。
  • 数据分析师:负责竞品调研,需要批量抓取特定路径下的官网页面及截图,构建离线语料库进行文本挖掘。