多 Agent 通用网页采集

要解决什么问题

后台订单、报表、列表页往往没有稳定 API，工程师仍得用浏览器自动化或手写选择器去扒表格和分页。页面一改 DOM，脚本就挂；登录、验证码、Cookie 过期又会把维护成本拉高。这个技能面向「给一个 URL，把结构化数据拿出来」这类重复劳动，尽量把结构识别和字段映射交给 Agent，人只负责确认映射是否合理。

技能如何工作

智能页面分析会用 AI 检测表单、表格与分页结构；你也可以用自然语言描述采集需求，由系统解析成可执行配置。执行路径上采用 多 Agent 协作：研究员分析页面 → 开发者适配选择器与流程 → 测试员验证 → 评审员确认，减少单轮提示词漏掉边界的情况。

配置分两层：

• autoScrapeConfig：填 url，可选 description、template、credentials，适合「先跑起来再微调」。
• manualConfig：含 loginConfig 与 scrapeConfig，在自动模式不够用时显式指定登录选择器、columnMappings、分页与 maxPages 等。

预置模板覆盖电商订单、民宿订单、财务报表、社交媒体等场景；底层用 Playwright 做浏览器自动化，Cheerio 解析 HTML，xlsx 导出 Excel。错误码 E001–E011 对应 URL 无效、登录失败、选择器失效、验证码、反爬等，多数场景会重试或换备选选择器；E005、E007 等需你介入时走交互式确认。

适用边界与注意点

• 需要验证码或强反爬的站点，技能只能部分自动化，仍可能要你手动过验证或降频。
• 模板与页面结构不一致时会触发 E011，应切换到手动配置并核对 columnMappings。
• 导出失败（E008）时 JSON 结果会保留，需自行导出；凭据只应通过 credentials / loginConfig 传入，勿写进公开文档。