Firecrawl 整站下载
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_15292d5a/yjkj-firecrawl-download。
技能介绍
解决什么问题
当我们需要将整个网站或文档库完整保存到本地时,手动逐页另存为不仅耗时,而且难以保持原有的目录结构和链接关系。firecrawl-download 正是为了解决这一痛点而生。它适合需要离线访问技术文档、归档知识库,或者进行大规模内容提取并期望获得结构化本地文件的工程师。
核心能力与工作流
该技能本质上是一个结合了 map 与 scrape 的便捷命令。其工作流程分为两步:首先通过 map 阶段发现站点内的所有可访问页面,随后在 scrape 阶段将每个页面抓取并按照 URL 路径映射为嵌套的本地目录结构,统一存放在 .firecrawl/ 目录下。
在执行过程中,你可以充分利用丰富的过滤与抓取选项:
- 路径控制:使用
--include-paths和--exclude-paths精准限定下载范围,配合--limit控制最大页面数。 - 搜索与域名:通过
--search过滤特定 URL,或用--allow-subdomains包含子域名页面。 - 抓取增强:支持传入常规的 scrape 参数,例如
--screenshot、--full-page-screenshot、--only-main-content以及--wait-for等,确保抓取内容符合预期。
注意:在自动化流程中,务必始终加上 -y 参数以跳过确认提示。
适用边界与注意事项
由于该工具被标记为 Experimental(实验性),在处理超大规模站点时需谨慎评估资源消耗。虽然它能将内容保存为本地文件,但若你只需要提取结构化的 JSON 数据而非本地文件,建议改用 firecrawl-crawl;若仅需探测 URL 而不下载,则应使用 firecrawl-map。此外,复杂的 SPA 页面或需要复杂交互才能渲染的内容,可能仍需配合特定的等待参数(如 --wait-for)才能获得完整快照。
使用场景
- 在无网络环境下进行系统开发,需要将完整的 API 文档站点映射并抓取为本地嵌套目录,以便随时查阅。
- 准备进行历史资料数字化,需将特定子域名的文章批量提取并按 URL 路径保存为本地 Markdown 文件。
- 审查竞品官网的页面结构与文案,需将目标路径下的所有网页截图并抓取正文,存入本地目录离线分析。
适合人员
- 后端开发工程师:在无外网环境下调试接口,需要将第三方 API 文档整站抓取为本地文件以供离线查阅。
- 技术文档撰写者:需要收集大量分散的在线教程和参考手册,将其结构化保存为本地嵌套目录以整理写作素材。
- 数据分析师:负责竞品调研,需要批量抓取特定路径下的官网页面及截图,构建离线语料库进行文本挖掘。