Scrapy网页爬取与结构化数据提取框架

要解决的问题

• 当 Agent 工作流需要稳定地把网页变成字段规整的记录时，直接用 requests 和临时解析脚本，很容易在并发、重试、去重、导出和后处理上反复打补丁。
• 目标不是“能抓下来”，而是可重复执行：同一任务能形成一致的请求调度、异步抓取、结构化字段、feed 导出和 pipeline 处理，便于交接给下游模型或存储。

技能如何工作

• Scrapy 作为高层 Python 框架承担抓取与提取的编排：定义爬虫入口后，把页面解析、字段抽取、异步爬取和 feed 导出串成可复用流程。
• 结构化结果以 item 形式表达，交给可扩展 pipeline 做清洗、映射、校验或落库；这样采集和加工解耦，后续更换存储或调整字段不必重写抓取逻辑。
• 对 Agent 来说，这个技能适合把“多页遍历 + 重复抓取 + 稳定导出”拆成可追踪步骤，而不是临时拼一段脚本。

适用边界与注意点

• 运行环境需满足上游要求：跨平台，Python 3.10+，由 Zyte 维护；具体用法以 Scrapy 官方文档为准。
• 它解决采集与结构化，不自动替你处理授权、合规、频率控制、验证码或反爬对抗；上线前仍需确认目标站点条款和抓取边界。