Scrapy 管道数据提取器

它解决什么问题

爬虫能跑起来，不等于数据能用。默认的 Scrapy 爬虫把抓到的字段原样塞进 Item，很快会遇到三类问题：同名字段格式不统一（日期可能是 2024/01/02，也可能是 Jan 2, 2024；价格可能带 ¥、$ 和千分位逗号）、重复行直接落库、爬虫顺着无关链接跑偏到整站。事后在 pandas 里补救要重跑整条链路，而且只在列表页出现的脏数据很容易漏掉。

技能如何组织爬虫

这个技能把处理逻辑放进 Scrapy 的抓取流程，而不是事后清洗：

• 爬取范围：用 scrapy.linkextractors.LinkExtractor 声明哪些链接值得跟进，边界写在爬虫配置里，避免整站无差别抓取。
• 字段规范化：用 ItemLoader 配合 MapCompose 处理器，在字段进入 Item 之前逐项做 trim、大小写、日期和数值转换。处理器在加载阶段逐字段执行，管道可以假定收到的数据已经统一。
• 清洗与落库：自定义 Item Pipeline 接在 loader 之后，负责去重、校验、补全和写入存储，清洗规则与抓取规则分开维护。
• 三层职责边界清楚：改字段格式不影响抓取范围，换存储不影响字段解析。

适用边界与注意点

• 依赖 Scrapy 本身，需要 Python 3.10 以上，跨平台可用。
• 框架由 Zyte 维护，行为以 Scrapy 官方文档为准：https://docs.scrapy.org/en/latest/。
• MapCompose 是逐字段执行的，写在字段上比写在管道里更早介入，但要小心在处理器里做需要全局状态（比如跨行统计）的操作。
• 生成的爬虫面向生产使用，存储位置和去重策略需要按自己的数据规模先想清楚，技能不会替你决定这些。