Puppeteer 网页抓取流水线
将以下提示词粘贴到你的 AI 对话框中：
请根据 https://skillhub.cn/install/skillhub.md，安装 @user_3c6cb52e/puppeteer-web-scraping-pipeline。
技能介绍
要解决的抓取问题
网页数据抓取并不总是几行 fetch 就能完成：目标页面可能是前端渲染的 SPA，元素在接口返回后才出现；列表依赖滚动继续加载；点击前又会被 Cookie 同意弹窗挡住。这些场景下，请求节奏、页面状态和 DOM 可见性都需要被显式控制。
技能如何组织流水线
该技能围绕 Puppeteer 把浏览器操作拆成可控步骤：先用 browser.newPage() 打开目标页面，再用 page.goto() 等待导航完成；关键内容出现时通过 page.waitForSelector() 等待选择器，而不是依赖固定 sleep。需要读取结构化数据时，可用 page.evaluate() 在页面上下文内提取字段。对无限滚动场景，可以在滚动容器上触发滚动事件，并反复等待新节点加载；对 Cookie 同意弹窗，则先识别并关闭或接受，再执行后续交互。
适用边界与注意点
它更适合结构相对明确、但需要浏览器环境执行的站点，而不是自动绕过所有反爬机制的通用方案。stealth 插件可以降低基础指纹暴露，但站点仍可能使用验证码、登录态、行为风控或接口签名。抓取前应确认 robots.txt、服务条款与合规边界，避免高频请求影响目标服务；页面结构变化时，选择器和滚动逻辑通常需要同步维护。
使用场景
- 商品列表依赖滚动加载，需要用浏览器滚动触发新数据，再从列表项中提取字段。
- 页面打开时弹出 Cookie 同意框，需要在执行点击或采集前先识别并处理该弹窗。
- SPA 页面的数据由前端渲染，需要等待指定选择器出现后再读取页面中的内容。
- 站点有基础反爬检测，需要加入 stealth 配置并按页面状态控制请求节奏。
适合人员
- 做竞品调研的工程师，需要抓取前端渲染后的商品与评论数据用于分析。
- 负责内容采集的数据工程师，需要处理无限滚动列表并按选择器提取条目。
- 构建自动化工具的开发者，需要用 Puppeteer 串联导航、等待和 evaluate 等步骤。
- 维护爬虫脚本的技术负责人，需要评估 stealth 方案对现有反爬站点的适用边界。
相关技能
一款完全本地运行的微信聊天数据分析工具，支持MBTI人格推断、情感分析、风险检测、关系健康度评估和对话预测，注重隐私保护。
一个自动启动 Edge 浏览器并连接 BrowserSkill 扩展的通用组件，确保网页抓取和自动化任务的前置条件就绪。
面向小红书单篇笔记或品类搜索，输出标题套路、结构、原话评论和可跟进角度的调研备忘；粘贴笔记即可无需查询完成，公开查询需单独确认且计费。
基于新浪财经接口的 A 股实时行情监测工具，支持价格与涨跌幅预警、日志记录和定时检查。