技能介绍

采集项目的第一风险不是反爬，是合规

「这个网站的数据能不能采？」多数工程师的第一反应是研究反爬策略——换 IP、加代理、破解验证码。但技术可行性只是问题的一角。技术上能拿到 ≠ 法律上可以拿：目标站的 ToS 可能明令禁止自动化采集；用户主页上「公开可见」的姓名和联系方式依然受个人信息保护法规约束；把采集来的数据转售或重新发布，可能侵犯数据库权利与著作权。爬虫被封顶多重写代码，采集违规留下的是合规风险。

这个技能把「能不能采」和「怎么采」拆成两条独立决策线，动手前必须先过合规四查：

robots 协议：查目标站 /robots.txt，Disallow 的路径不采。robots 不是法律，但是行业共识与诉讼时的诚意证据。
服务条款（ToS）：条款明确禁止自动化采集的，商业用途不要碰；需登录的内容风险显著升高——突破访问控制是红线。
个人信息红线：不采个人信息；业务确需的，先咨询法务并做匿名化。
数据用途：自用分析、学术研究、商业转售的风险等级完全不同。

存在一票否决项：绕过付费墙、规模化破解验证码、采集竞品全量数据做同质化产品。

合规之后的工程化采集

通过合规检查后，采集本身按决策树推进：先看有无官方 API（跳过这一步的人 90% 后悔）；静态页面用 HTTP 请求 + HTML 解析；JS 渲染页面优先从浏览器开发者工具的 Network 面板找 XHR 接口，实在不行才上无头浏览器；规模化需求从第一天就按流水线设计（任务队列、失败重试、断点续采、监控告警），而不是脚本裸奔。

采集礼仪同时是稳定性设计：请求间隔 ≥1-3 秒起步、错峰采集、缓存去重、UA 带真实联系方式、收到 429/403 立即退避而非换 IP 硬刚。

数据质量流水线要求采集时逐条校验字段完整性，缺关键字段立即告警；清洗分三层——原始层（不动原文）、清洗层（去重/标准化/类型转换）、应用层，永远保留原始层；选择器优先用语义化属性（id/data-*）而非脆弱的层级路径；每天跑哨兵页面校验解析器是否失效，并监控日采集量环比、字段空值率、重复率。