Agent Skills
返回列表
🤖

网页访问助手

AI Agent 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @user_3c6cb52e/web-access-rwso。

技能介绍

要解决的问题

让 Agent 真正“打开网页并拿到东西”并不简单,常见四种情况会让流程直接卡住:

  • 静态抓取拿不到内容:小红书、微信公众号等平台对非浏览器请求有限制,curl 和 WebFetch 往往拿不到正文。
  • 信息是二手的:搜索引擎摘要和聚合页只是入口,真正可信的是官网、论文、原始公告这类一手来源。
  • 独立浏览器没有登录态:单独启动的浏览器是干净实例,用户已登录的 Cookie、Session 全都不存在。
  • 预先规划步骤不可靠:固定脚本会在弹窗、登录墙、重定向上反复撞墙,而不是自己调整方向。

技能如何工作

核心思路是目标驱动,而不是步骤驱动:先明确“什么算完成”,再根据证据每一步都对照这个标准重新判断方向对不对。

  • 前置检查:通过脚本探测环境与 CDP 可用性,按退出码分流处理(exit 0 继续,exit 2 询问浏览器偏好写入 ${CLAUDE_SKILL_DIR}/config.env,exit 1 按 stdout 报错或按提示先手动打开浏览器再重跑);另支持 --browser 做单次临时覆盖。切换浏览器时需要先清理旧 Proxy 进程。
  • 分层选工具:WebSearch 用于发现来源;WebFetch 从已知 URL 提取定向内容;curl 拿原始 HTML 里的结构化字段(meta、JSON-LD);浏览器 CDP 处理登录态、交互操作和反爬平台;Jina(r.jina.ai/ 前缀)作为可选预处理层,把网页转成 Markdown 以降低 token 消耗。
  • CDP Proxy API:所有浏览器操作通过 HTTP 调用。/eval 读 DOM、/click 点击元素、/scroll 触发懒加载、/new 开新后台 tab、/screenshot 采帧、/close 清理。媒体资源优先从 DOM 拿 URL 定向下载,只在必须登录态时才截图。
  • 站点经验沉淀:每个目标站点的操作模式、已知陷阱记录在 references/site-patterns/{domain}.md,命中时先读取,操作完成后再校验并回写经验。
  • 并行分治:多个独立调研目标交给子 Agent 并行,各自创建并关闭自己的 tab,共享同一个浏览器实例与 Proxy。

适用边界与注意点

  • 短时间密集打开大量页面(比如批量 /new)可能触发站点风控,批量任务需要控制节奏。
  • 页面提示“内容不存在”不一定是真的删了,可能是 URL 缺少会话参数或触发了反爬,应先换访问方式再判断结论。
  • Jina 适合正文为主的页面,数据面板和商品页可能提取到错误区块,重要信息建议交叉验证。
  • Proxy 是常驻进程,主动停止后需要在浏览器里重新授权 CDP 连接,所以除非必要不要停。
  • 全程只操作自己创建的 tab,用户原有页面不做改动,任务结束保留环境整洁。
  • 视频内容需要真实渲染截图,依赖用户本机浏览器能力,无法保证所有站点都能稳定采样。

使用场景

  • 目标站点反爬,需要用浏览器CDP浏览页面并提取正文和媒体
  • 需要到官网、论文或公告等一手来源核实事实,不只看搜索摘要
  • 多个项目或来源需要并行调研,交给子Agent分治抓取并汇总结论
  • 需要登录的后台页面,要像人一样点击交互,提交原始URL参数

适合人员

  • Agent应用工程师:需要浏览器自动化和登录态复用,完成交互采集
  • 调研分析师:要对政策学术或企业公告做事实核查并记录一手来源
  • 产品运营:需要整理竞品平台的内容结构和限制,沉淀操作经验
  • 数据工程师:负责大规模网页采集,关注风控触发和稳定获取