Apify MCP 代理网页提取
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md 安装 @user_3c6cb52e/use-apify-mcp-for-agent-web-extraction 技能。
技能介绍
要解决的具体问题
爬虫开发常卡在几个点上:
- 动态渲染的页面,
curl拿不到完整内容 - 登录态维持、浏览器资源占用、验证码处理需要反复调
- 搜索结果、地图数据、电商商品、社交帖子各自接口不同,写一遍换一个平台
- 临时验证脚本用完即弃,很难沉淀为可复用的 Agent 工具
技能如何工作
这个技能把 Apify Actors 暴露为 MCP 工具,让 MCP-compatible Agent(如 Claude Desktop、Claude.ai、VS Code、Cursor、Claude Code)可以像调用函数一样运行 Apify 上的爬虫与数据处理 Actor。核心能力包括:
- 平台覆盖:搜索、地图、电商、社交,以及任意网站
- 结构化输出:Actor 直接返回 JSON 等结构化数据,跳过 HTML 解析
- 参数化运行:Agent 通过 MCP 工具调用传入输入参数,Actor 在 Apify 平台上执行
- 流程闭环:选择 Actor → 配置输入 → 触发运行 → 获取结构化结果
适用边界与注意点
- 需要 MCP-compatible client,例如
Claude Desktop、VS Code、Cursor或Claude Code - 托管 Apify MCP endpoint 或
@apify/actors-mcp-server均可 - Node.js 需要 v22 或更高版本
Skyfire使用 PAY tokens 支付,需要 Skyfire 账户并给钱包充值,不需要特殊 MCP client- 不同 Actor 运行成本不同,两种支付方式都采用预付余额模式
- 支付流程分四步完成
使用场景
- 运营需要从电商平台批量获取商品价格和销量数据,用于竞品分析报告
- 市场人员要从社交媒体平台抓取特定话题的帖子数据,分析用户讨论趋势
- 数据分析师需要从地图平台提取区域内的商家信息,构建商业选址数据集
- 开发者要从任意网站采集动态渲染的页面内容,用于后续数据解析和存储
适合人员
- 爬虫开发者:需要快速集成多平台数据抓取能力,减少重复造轮子
- Agent 开发者:需要让模型调用外部爬虫工具,扩展数据获取范围
- 数据分析师:需要采集多来源结构化数据,支撑后续分析建模
- 全栈工程师:需要在应用中嵌入网页数据提取功能,提升产品数据能力