网页内容抓取器

解决什么问题

AI 工具能读本地文件，却常常读不了网页。三种情况最常见：SPA 页面（React/Vue/Angular）把正文藏在 JS 执行之后，静态抓取只能拿到空壳；登录墙后面的页面对未认证请求直接返回 401 或跳转；高频请求触发的限速则让批量抓取半途而废。这个技能专治这三类场景。

核心能力

• JS 渲染页面：自动检测页面类型，用无头浏览器执行脚本后再提取文本，依赖 Node.js 与 puppeteer
• 登录墙：传入 cookie 文件即可访问受限页面；未提供时会明确提示
• 速率限制：内置重试与退避机制，被限速的接口会自动等待后重试
• 分页内容：--paginate 参数自动跟随"下一页"链接，合并整册内容
• 微信文章：自动切换 QQ 浏览器 UA 绕过验证

适用边界

❌ 需要验证码 / 人机验证的页面无法通过，强行抓取可能触发封禁
❌ 需要多步交互（点击、滚动加载）的页面不在能力范围内
❌ 法律法规禁止抓取的内容不处理
❌ 需要登录但未提供有效 cookie 的页面会提示失败

抓取前请确认目标站点的 robots.txt，不要短时间内对同一域名发起大量请求——这个技能是给"读一页正文"设计的，不是批量爬虫。