Agent Skills
返回列表
网页助手

网页助手

数据分析 更新于 2026.08.30

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @user_c9b69df4/web-assistant 到你的 AI 助手中。

技能介绍

解决什么问题

很多网页不是静态 HTML:SPA 路由由 JS 驱动、列表数据来自 XHR、下载链接受 CDN 防盗链保护,简单 snapshot 或选择器容易失效。Web Assistant 将网页抓取从“看页面”转成“找接口、验路径、固化站点经验”,优先用 API 直调与 URL 参数驱动,降低对脆弱 UI 的依赖。

工作方式

技能按任务分层:先用 navigate、evaluate、snapshot 探索页面结构、网络请求和 URL 模式;再按 API 直调 > URL 参数驱动 > UI 交互驱动 的顺序提取搜索、翻页、列表和详情数据。对于需登录站点,它会检测登录态、恢复 cookie,并写入 auth/*.json;对于防盗链下载,则在同域页面内用 fetch 触发下载,文件落到 ./Downloads/*。调研完成后,站点 API、选择器、边界情况会沉淀为 references/sites/*/guide.md,后续任务可复用。

适用边界

它适合工程化的网站探索、数据提取、文件下载与站点指南维护,依赖浏览器权限、文件系统读写和 run_code_unsafe 等能力。不适合作为无约束爬虫:资料中明确不暴力爬取,且接口版本、登录态和选择器仍需在每次任务中通过 evaluate 确认。

使用场景

  • 面对 SPA 列表页,需要绕过选择器失效,直接找到 XHR API 端点并提取分页详情数据。
  • 需要登录内部业务后台抓取任务数据,要求先恢复 cookie 登录态再执行提取。
  • 下载站点提供的高清资源时遇到 403 防盗链,需要同域 fetch 触发文件保存到 Downloads。
  • 调研多个电商详情页结构,需要生成站点指南记录 URL 模式、选择器和 API 端点。

适合人员

  • 需要定期从多个网站抓取结构化列表的自动化工程师,想稳定定位 API 端点与选择器。
  • 需要处理需登录后台数据提取的数据工程师,想先校验并恢复登录态再执行任务。
  • 需要绕过 CDN 防盗链下载资源的前端或爬虫工程师,想在同域内用 fetch 触发下载。
  • 需要沉淀站点调研经验的自动化平台开发者,想生成可复用的站点指南。