Puppeteer 网页抓取器

解决什么问题

很多页面不是静态 HTML：数据由 JavaScript 异步渲染，图片与列表懒加载，访问还依赖 Cookie。普通 HTTP 请求可能只拿到空壳 DOM，漏掉滚动后才出现的内容，或在需要登录态的页面失败。这个技能面向这类场景，用真实浏览器环境执行页面脚本，等页面达到可用状态后再提取 DOM。

核心能力与工作流程

• 使用 Puppeteer 驱动 headless Chrome，渲染 JavaScript，并等待页面和异步请求稳定。
• 自动处理 Cookie，可复用浏览器会话状态，减少登录态失效或跨请求鉴权问题。
• 基于 Cheerio 做 DOM 抽取，从渲染后的 HTML 中按选择器解析结构化字段。
• 支持无限滚动与懒加载内容：通过滚动、等待资源加载触发后续内容，再统一解析。

关键步骤：启动浏览器上下文 -> 加载目标 URL -> 应用或保持 Cookie -> 滚动或等待 -> 抓取渲染后 DOM -> 用 Cheerio 提取字段。

适用边界与注意点

适合需要真实浏览器行为的抓取任务，例如前端渲染重、依赖会话或延迟加载内容的页面。对纯静态 HTML，成本通常高于简单请求。Headless 仍可能被反爬检测，并发、内存占用和等待策略需要按站点调整。若通过 MCP 提供自动化与调试接口，核心抓取流程仍围绕上述能力。