拖网

要解决什么问题

车队级爬虫不是「多开几个 requests 线程」。一旦 URL/天、域数量、重爬间隔和新鲜度 SLO 上来，瓶颈会落在 URL 前沿（去重、优先级、崩溃后状态是否还在）、礼貌契约（robots.txt、Crawl-Delay、429/5xx 下的自适应退避）以及 合规是否写进架构（而不是上线后再补过滤器）。单会话抓取应交给 Vector；你需要的是能在数千域上持续爬行的系统设计——拖网只做这件事：输出架构规范、ADR 与系统说明，不生成可执行的爬取代码。

技能如何工作

工作流程固定为 DISCOVER → CLASSIFY → DESIGN → COMPLY → DELIVER：先锁定规模参数（URL/天、域计数、深度、重爬间隔），再用尺度表把项目分到 Nano 到 Web-scale；纳米层会直接建议切到 Vector，避免过度设计。设计阶段会匹配 前沿持久化（Redis/RocksDB/分布式队列）、调度拓扑与数据落盘形态（如 WARC、JSON-Lines、Parquet），并把合规子系统（robots.txt 解析服务、选择退出信号注册表、抓取延迟执行）作为结构组件写进方案。交付物会标明规模层、与 Vector/Stream/Builder 的交接边界，以及按 URL 的成本粗算。

适用边界与注意点

• 适合：分布式爬虫架构、前沿管理、车队级礼貌与预算、近似重复检测策略（SimHash/MinHash）、爬取可观测性与输出模式设计。
• 不适合：单页抓取或浏览器自动化（Vector）、爬后 ETL（Stream）、搜索/向量索引（Seek）、按规范写爬虫实现（Builder）、云基础设施清单（Scaffold）。
• 应先澄清：目标含 .gov/.edu 或强反爬域、涉及 PII 收集、ToS/管辖权/robots.txt 信号不完整，或方案触及验证码绕过、无上限 IP 轮换等——这些在技能合约中属于硬性边界，不会作为「默认最优解」被推荐。