ScrapyCloud 作业管理器

要解决的问题

当爬虫项目从本地脚本迁到 ScrapyCloud 后，调度、参数、结果导出往往会散落在网页后台的多个入口里。不同任务需要的参数不同，优先级也无法在代码里表达清楚，导出目标更是要在前台手工配置。结果是：一次常规抓取变成了重复的手工操作。

核心能力

这个技能通过 Scrapinghub API 把上述动作收敛到一条链路上：

• 作业调度与控制：以 API 触发部署、启动、暂停或停止爬虫，不必切到网页端点击。
• 参数注入：在发起作业时直接传 spider_args，同一套代码可以跑不同配置。
• 优先级设置：对作业设置优先级，让关键任务先跑完。
• 结果导出：把 items 导出到 S3 或 BigQuery，导出动作与作业参数一起配置。
• 状态浏览：通过 ScrapyCloud 的 Web 界面查看运行状态与抓取结果，作为 API 之外的补充。

典型流程是：准备好爬虫项目与 Scrapinghub 凭证，用 spider_args 描述本次抓取的参数，指定优先级和导出目标，提交作业后轮询状态，完成后到 S3 或 BigQuery 取数据。

适用边界与注意点

• 工作在 ScrapyCloud / Scrapinghub 体系内，本地调度或自建集群不是它的覆盖范围。
• 认证与权限依赖账号的 API key 与项目权限，配额用尽时调度会失败。
• 导出目标只覆盖资料中列出的 S3 与 BigQuery，其他存储需要自行扩展。
• 优先级只能改变调度顺序，不能绕过平台对并发和队列的限制。

细节可参考官方文档 docs.zyte.com/scrapy-cloud。