Agent Skills
返回列表
网页抓取助手

网页抓取助手

数据分析 更新于 2026.08.30

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md 安装 @user_af163eaa/z-wang-ye-zhua-qu-zhu-shou

技能介绍

要解决的问题

直接用脚本抓网页,难点从来不在「发个请求」本身。真正的问题集中在三点:目标站点的 HTML 结构千差万别,正文节点每天都在变;批量抓取时的限流、封禁、JavaScript 渲染让你的简单脚本三天两头直接崩;以及抓取回来的内容离「可用的结构化数据」还隔着好几层清洗逻辑,字段对不上、噪音去不掉。

技能如何工作

这个技能把上述脏活累活收敛到一个标准化的流程里。它基于 Firecrawl 提供的抓取、爬取、提取、地图四个官方端点(https://api.firecrawl.dev),通过 MCP 或 Python 客户端发起调用。工作流程大致分四个步骤:

  1. 接收意图 – 你只需要给一个 URL(或一组 URL),加上自然语言描述你关心的字段、输出格式和约束条件。
  2. 参数校验与补全 – 技能会检查你提供的参数是否完整,缺少关键信息时主动询问,不凭空猜测你的需求。
  3. 调用 Firecrawl API – 根据任务类型选择对应的端点:单页提取走 scrape,批量抓取走 crawl,已知站点结构做映射式采集走 map,按规则提取特定字段走 extract。返回的是干净的 Markdown 或结构化 JSON,你不用再写正则去匹配 <div>。
  4. 输出与确认 – 技能将结果格式化成你指定的字段,并在遇到支付、发布、删除等敏感操作时弹出预览,等你二次确认后才真正执行。整个过程不崩不挂,操作失败会给出清晰的错误指引。

适用边界与注意事项

这个技能的服务端是海外服务,在国内调用需要一个正常的网络出口,且必须遵守目标站点的 robots.txt 和版权合规要求。抓取需要登录的页面时,你需自行确保拥有访问权限,技能不会帮你绕过授权。另外,Firecrawl 的免费额度适合个人试用,大规模生产场景需要评估用量和费用。它不是万能的——遇到高度动态或反爬极强的站点,仍可能需要额外的代理或渲染方案配合。

使用场景

  • 定期抓取竞品官网发布的最新文章,过滤掉导航和广告等噪声,只保留正文存档,每周汇总一次。
  • 把一篇长篇技术博客转换成干净的 Markdown,剔除导航栏、侧边栏和广告,然后存入知识库供检索和二次整理。
  • 对某官方文档站点执行地图式爬取,采集全部文章页正文,用于团队内部的离线归档与版本对照。
  • 批量抓取某电商站点的产品详情页,提取标题、价格、规格参数等字段,整理成结构化表格交付给数据分析流程。

适合人员

  • 内容运营:需要定期把竞品官网或行业博客的最新文章采集下来,整理进自己的选题库
  • 前端或全栈开发者:要把一批 API 文档页批量抓取并提取表格数据,沉淀为团队内部知识库
  • 数据分析人员:需要批量抓取产品页面的标题、价格、参数等结构化字段,清洗后导入 Excel 做周度汇总
  • 知识库管理员:要把一批技术博客转成干净的 Markdown 并入库,方便团队后续检索和复用