网页内容抓取器

要解决的问题

AI 直接读取网页时，常被三类情况挡住：SPA 页面正文靠 JS 渲染，拿到的只是空壳 HTML；内容在登录墙后，没有凭证就看不到正文；站点对高频访问做限流，返回 429 或直接断连。本技能围绕“抓正文”这个动作设计，触发方式很直接：说“抓取/爬取/scrape/提取内容/获取网页文字”并给 URL，或说“这个页面打不开完整内容，帮我抓一下”。纯文本/JSON API 用 curl 就够；未提供 Cookie 的登录页会先提示补凭证；本地文件路径不适用。

核心能力与使用步骤

• JS 渲染 SPA：自动检测 React/Vue/Angular 页面，用无头浏览器渲染后再取文本；依赖 Node.js 与 puppeteer（npm install puppeteer，无需单独装 Chromium）。
• 绕过登录墙：准备 Cookie 文件并传入即可读取墙后正文。获取方式：浏览器 F12 → Application → Cookies → 导出。
• 应对速率限制：内置重试与退避，减少被限速后的失败率。
• 处理分页：加 --paginate 自动跟随“下一页”链接，把多页内容连起来。
• 适配微信公众平台文章：自动切换 QQ 浏览器 UA，绕过验证后再抓正文。
• 故障定位：Cookie 缺失、页面加载超时、JS 渲染失败分别给出提示；抓到的内容若仍有乱码，文件已按 UTF-8 保存，可用 iconv 手动转码。
• 被站点屏蔽时：先 export HTTPS_PROXY=http://127.0.0.1:7890 再运行。

适用边界

它不处理需要验证码/人机验证的页面，也不支持需要多次点击、滚动加载的交互流程；未提供有效 Cookie 的登录页无法抓取。请遵守 robots.txt，不要大规模爬取，也不要对同一域名在短时间内发起大量请求。