Apify 网络爬虫协调器

爬虫任务协调的核心痛点

手动管理多个爬虫 actor 时，常面临运行状态分散、数据集导出格式不统一、代理配置难适配大规模爬取等问题——既难跟踪 actor 进度，也无法快速汇总结构化结果，调试成本随任务量上升而激增。

技能的工作逻辑与核心能力

这个技能基于 Apify Client SDK 和 Apify API v2，把分散的爬虫步骤串成可协调的流程：

• 统一调度 actor：按需启动、停止或监控 Apify actors 的运行，避免手动触发的混乱；
• 管理数据集导出：自动整理爬取结果，生成结构化数据，无需手动拆分合并文件；
• 配置代理策略：统一设置代理参数，适配不同爬取场景的 IP 轮换需求，降低被封概率。

适用边界与注意事项

• 需运行在 Node.js 16+ 环境中，未满足版本要求会导致 SDK 无法正常工作；
• 具体 actor 的调用细节、参数配置需参考 Apify Platform 指南，本技能仅做流程协调，不提供定制化 actor 开发能力；
• 不处理爬取后的数据清洗、分析等后续环节，仅聚焦爬取流程的编排与管理。