JS页面JSON提取器

技术痛点

JavaScript 渲染的页面成了爬虫的「重灾区」。传统方案靠 CSS Selector 或 XPath 抓数据，可前端框架（如 React、Vue）更新频繁，DOM 结构稍有变动，之前的选择器就全失效。维护者得反复调整规则，调试成本远高于数据采集本身。

工作原理

这个技能基于 llm-scraper 实现，核心逻辑是用大模型替代脆弱的选择器：

1. 环境就绪：需要 Node.js 运行时、Playwright 兼容的浏览器（如 Chromium）、llm-scraper 包，以及 OpenAI、Anthropic 或 Google 的 LLM 凭证。
2. 页面渲染：通过 Playwright 启动浏览器，等待 JS 执行完毕，拿到动态生成的完整 DOM。
3. 字段定义：你只需用自然语言描述需要的字段（比如「提取商品的名称、价格、库存」），LLM 会理解页面内容并映射到结构化 schema。
4. 数据返回：最终输出符合预期的 JSON，字段名、类型都由你控制，无需关心 DOM 层级怎么变。

适用边界

• 页面内容需可被 LLM 识别（比如文字、图片 alt 属性），完全动态的 canvas 内容可能无法提取。
• 依赖 LLM 提供商的稳定性，极端并发场景需做好重试机制。
• 对于结构无规律的页面，可能需要多次调整字段描述才能拿到理想结果。