网页访问助手
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_3c6cb52e/web-access-rwso。
技能介绍
要解决的问题
让 Agent 真正“打开网页并拿到东西”并不简单,常见四种情况会让流程直接卡住:
- 静态抓取拿不到内容:小红书、微信公众号等平台对非浏览器请求有限制,
curl和WebFetch往往拿不到正文。 - 信息是二手的:搜索引擎摘要和聚合页只是入口,真正可信的是官网、论文、原始公告这类一手来源。
- 独立浏览器没有登录态:单独启动的浏览器是干净实例,用户已登录的 Cookie、Session 全都不存在。
- 预先规划步骤不可靠:固定脚本会在弹窗、登录墙、重定向上反复撞墙,而不是自己调整方向。
技能如何工作
核心思路是目标驱动,而不是步骤驱动:先明确“什么算完成”,再根据证据每一步都对照这个标准重新判断方向对不对。
- 前置检查:通过脚本探测环境与 CDP 可用性,按退出码分流处理(
exit 0继续,exit 2询问浏览器偏好写入${CLAUDE_SKILL_DIR}/config.env,exit 1按 stdout 报错或按提示先手动打开浏览器再重跑);另支持--browser做单次临时覆盖。切换浏览器时需要先清理旧 Proxy 进程。 - 分层选工具:
WebSearch用于发现来源;WebFetch从已知 URL 提取定向内容;curl拿原始 HTML 里的结构化字段(meta、JSON-LD);浏览器 CDP 处理登录态、交互操作和反爬平台;Jina(r.jina.ai/前缀)作为可选预处理层,把网页转成 Markdown 以降低 token 消耗。 - CDP Proxy API:所有浏览器操作通过 HTTP 调用。
/eval读 DOM、/click点击元素、/scroll触发懒加载、/new开新后台 tab、/screenshot采帧、/close清理。媒体资源优先从 DOM 拿 URL 定向下载,只在必须登录态时才截图。 - 站点经验沉淀:每个目标站点的操作模式、已知陷阱记录在
references/site-patterns/{domain}.md,命中时先读取,操作完成后再校验并回写经验。 - 并行分治:多个独立调研目标交给子 Agent 并行,各自创建并关闭自己的 tab,共享同一个浏览器实例与 Proxy。
适用边界与注意点
- 短时间密集打开大量页面(比如批量
/new)可能触发站点风控,批量任务需要控制节奏。 - 页面提示“内容不存在”不一定是真的删了,可能是 URL 缺少会话参数或触发了反爬,应先换访问方式再判断结论。
Jina适合正文为主的页面,数据面板和商品页可能提取到错误区块,重要信息建议交叉验证。- Proxy 是常驻进程,主动停止后需要在浏览器里重新授权 CDP 连接,所以除非必要不要停。
- 全程只操作自己创建的 tab,用户原有页面不做改动,任务结束保留环境整洁。
- 视频内容需要真实渲染截图,依赖用户本机浏览器能力,无法保证所有站点都能稳定采样。
使用场景
- 目标站点反爬,需要用浏览器CDP浏览页面并提取正文和媒体
- 需要到官网、论文或公告等一手来源核实事实,不只看搜索摘要
- 多个项目或来源需要并行调研,交给子Agent分治抓取并汇总结论
- 需要登录的后台页面,要像人一样点击交互,提交原始URL参数
适合人员
- Agent应用工程师:需要浏览器自动化和登录态复用,完成交互采集
- 调研分析师:要对政策学术或企业公告做事实核查并记录一手来源
- 产品运营:需要整理竞品平台的内容结构和限制,沉淀操作经验
- 数据工程师:负责大规模网页采集,关注风控触发和稳定获取