Agent Skills
返回列表
Firecrawl 网页抓取

Firecrawl 网页抓取

数据分析 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md 的指南,将 @user_15292d5a/yjkj-firecrawl-scrape 安装到你的 AI 助手中。

技能介绍

解决什么问题

把网页变成可供大模型阅读的输入时,最常见的坑是抓到的内容里塞满了导航栏、页脚和侧边栏推荐位,真正有正文的部分反而被淹没。另一个问题是面对 SPA(单页应用),简单 HTTP 请求只能拿到一个空的 <div id="app"> 骨架,正文全靠 JS 执行后才挂载。firecrawl-scrape 做的事情很直接:给它一个或多个 URL,返回剥离噪声的 Markdown,并且能等到 JS 渲染完成再抓。

核心能力

  • 并发抓取:一次传入多个 URL 会并行处理,而不是串行等待。想知道当前账号的并发上限,用 firecrawl --status 查。
  • 输出格式可选:--format 支持 markdown、html、rawHtml、links、screenshot、json。单一格式返回纯文本结果,多个格式同时指定时输出 JSON,方便下游做结构化解析。
  • 正文提取:--only-main-content 会砍掉导航、页脚、侧边栏,只留主内容区。想自己控制白名单和黑名单,用 --include-tags 与 --exclude-tags。
  • JS 渲染等待:--wait-for 让抓取动作等到页面渲染完成再执行,适合依赖前端路由拉数据的页面。
  • 即时问答:--query 可以针对页面内容直接提一个问题,代价是额外消耗 5 credits。
  • HTTP 头保留:-H 会把请求与响应头一并带出来,排查重定向、UA 过滤之类的问题时有用。

关键使用建议

先抓再问。 与其用 --query 拿到一句答案,更划算的做法是把结果写到文件里,再自己用 grep、head 或直接读 Markdown 做检索和推理。你已经能拿到全文,没必要为一条答案付费 5 credits。只有在不需要保存页面、只想要一个定向回答时,--query 才是合理选择。

先抓再交互。 静态页和 JS 渲染的 SPA 都能处理,只有当内容确实需要点击、填表单、翻页才能出现时,才升级到 interact 类技能。

输出路径有约定。 建议写成 .firecrawl/{site}-{path}.md,配合 -o 参数指定,方便本地统一管理。

注意点

URL 必须加引号。shell 会把 ? 和 & 当特殊字符解释,不加引号时参数可能被截断,导致抓取失败。

这个技能只负责把页面内容取回来,不做站点级遍历。如果要按链接扩散爬取整站,需要配合 crawl 或 download 类能力。

使用场景

  • 拿到一个新闻页面 URL,需要把正文转成 Markdown 喂给大模型做摘要
  • 抓取依赖前端渲染的 SPA 页面,等待 JS 加载完成后提取主内容区
  • 批量传入多个文档页 URL,并发抓取后统一保存为本地 Markdown 文件
  • 需要按 HTML 标签白名单过滤,只保留段落和标题等正文元素

适合人员

  • 做数据管道的后端工程师,需要把网页批量转成结构化文本入库
  • 搭建 RAG 系统的开发者,要把技术文档抓取为 Markdown 作为检索语料
  • 写爬虫工具的独立开发者,关注并发限制和 JS 渲染页面的处理策略
  • 做内容分析的数据科学家,需要剥离导航栏后对正文做语义检索或分类