Agent Skills
返回列表
📊

Firecrawl 深度网页抓取

数据分析 更新于 2026.08.30

将以下提示词粘贴到你的 AI 对话框中：

请根据 https://skillhub.cn/install/skillhub.md，安装 @org-02qudk26/firecrawl-scraper。

技能介绍

适合解决的问题

当目标网页不只是返回 HTML，而需要渲染后内容、交互后的状态、截图证据，或 PDF 页面解析时，传统简单抓取容易失败。firecrawl-scraper 通过 Firecrawl API 把网页抓取、截图、PDF 解析和站点爬取封装成可调用能力。

技能如何工作

核心能力包括：

  • 深度网页抓取：在需要点击、滚动或等待页面状态时提取更完整的正文内容。
  • 截图与 PDF 解析：对页面外观或 PDF 文档做视觉/文本层信息提取。
  • 批量 URL 爬取：围绕一组站点或页面持续收集数据。

关键步骤通常是从明确目标 URL 开始，选择抓取、截图或 PDF 解析模式，通过 Firecrawl API 获取结果，再把输出交给下游分析。API 密钥建议通过环境变量配置，避免写进提示词或代码。

适用边界

它更适合获取外部网页数据，不适合替代本地文档读取、离线数据清洗或业务数据库查询。使用前需要可访问的 Firecrawl API 密钥，并确认目标网站允许自动化抓取；页面交互、动态渲染和 PDF 结构复杂时，结果仍可能需要二次清洗。

使用场景

  • 处理动态新闻页时，抓取点击或滚动后展开的正文并汇总到分析表。
  • 整理竞品官网文档时，批量爬取产品页并抽取功能说明与定价字段。
  • 审阅法规 PDF 时，解析条款页文本并截图标注需要人工复核的位置。
  • 监控多个站点更新时，按 URL 列表抓取新页面并对比正文差异。

适合人员

  • 做竞品情报的数据分析师，常需要从动态官网抓取产品页和定价说明。
  • 处理合同 PDF 的法务助理，需要解析条款页并截图标记关键段落。
  • 维护文档站点的工程师，想批量抓取多页文档并整理成可检索语料。
  • 做搜索优化运营的，需要抓取页面渲染后正文并截图核对展示状态。