Agent Skills
返回列表
📊

Apify MCP 代理网页提取

数据分析 更新于 2026.08.30

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md 安装 @user_3c6cb52e/use-apify-mcp-for-agent-web-extraction 技能。

技能介绍

要解决的具体问题

爬虫开发常卡在几个点上:

  • 动态渲染的页面,curl 拿不到完整内容
  • 登录态维持、浏览器资源占用、验证码处理需要反复调
  • 搜索结果、地图数据、电商商品、社交帖子各自接口不同,写一遍换一个平台
  • 临时验证脚本用完即弃,很难沉淀为可复用的 Agent 工具

技能如何工作

这个技能把 Apify Actors 暴露为 MCP 工具,让 MCP-compatible Agent(如 Claude Desktop、Claude.ai、VS Code、Cursor、Claude Code)可以像调用函数一样运行 Apify 上的爬虫与数据处理 Actor。核心能力包括:

  • 平台覆盖:搜索、地图、电商、社交,以及任意网站
  • 结构化输出:Actor 直接返回 JSON 等结构化数据,跳过 HTML 解析
  • 参数化运行:Agent 通过 MCP 工具调用传入输入参数,Actor 在 Apify 平台上执行
  • 流程闭环:选择 Actor → 配置输入 → 触发运行 → 获取结构化结果

适用边界与注意点

  • 需要 MCP-compatible client,例如 Claude Desktop、VS Code、Cursor 或 Claude Code
  • 托管 Apify MCP endpoint 或 @apify/actors-mcp-server 均可
  • Node.js 需要 v22 或更高版本
  • Skyfire 使用 PAY tokens 支付,需要 Skyfire 账户并给钱包充值,不需要特殊 MCP client
  • 不同 Actor 运行成本不同,两种支付方式都采用预付余额模式
  • 支付流程分四步完成

使用场景

  • 运营需要从电商平台批量获取商品价格和销量数据,用于竞品分析报告
  • 市场人员要从社交媒体平台抓取特定话题的帖子数据,分析用户讨论趋势
  • 数据分析师需要从地图平台提取区域内的商家信息,构建商业选址数据集
  • 开发者要从任意网站采集动态渲染的页面内容,用于后续数据解析和存储

适合人员

  • 爬虫开发者:需要快速集成多平台数据抓取能力,减少重复造轮子
  • Agent 开发者:需要让模型调用外部爬虫工具,扩展数据获取范围
  • 数据分析师:需要采集多来源结构化数据,支撑后续分析建模
  • 全栈工程师:需要在应用中嵌入网页数据提取功能,提升产品数据能力