Agent Skills
返回列表
📊

网页内容提取工具

数据分析 更新于 2026.08.30

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @org-rn88lg3j/read-web。

技能介绍

解决的问题

把网页交给大模型时,直接拼接 HTML 往往带来大量噪声:导航、脚本、样式、推荐位和重复模板会挤占 token,正文结构、链接关系与代码块却容易被淹没。@org-rn88lg3j/read-web 想解决的就是这件事:把目标 URL 抓取后整理成干净的 Markdown,保留链接与结构,方便后续做文档阅读、内容分析和信息收集。

如何工作

这个技能采用“模型路由 + 脚本调用 API”的分工:大模型负责理解用户意图、选择工具并提取参数,代码负责调用 API,而不是让模型自己去搜索或拼装网页数据。

  • 密钥检查:首次使用时若配置里没有 XBY_APIKEY,必须通过 AskUserQuestion 向用户询问;拿到后调用 scripts.config.set_api_key(api_key) 保存。
  • 工具选择:当前技能提供 scripts.tools.read_website,用于网页内容提取并转 Markdown。
  • 参数提取:按用户意图准备参数。url 为必填,表示要抓取并转换的 HTTP/HTTPS 地址;pages 可选,默认 1,用于限制抓取页数;cookiesFile 可选,用于需要登录态的页面。参数不完整时,应向用户追问。
  • 调用与返回:使用关键字参数调用工具函数,返回 result["raw"]、result["success"] 和 result["message"],再把 raw 中的原始数据整理后展示。

适用边界与注意点

它适合读取文档、分析正文、收集网页信息这类“页面转 Markdown”的场景,但必须先配置 API 密钥;缺少密钥时不能自行搜索或编造数据,应停止并询问用户。对于需要认证的页面,可以提供 Netscape cookie 文件;pages 只控制抓取范围,不承诺页面内所有资源的完整还原。返回结果来自 API 原始数据,仍需按业务需要处理失败、编码或格式异常。

使用场景

  • 阅读第三方API文档网页,提取正文与链接,转成Markdown在代码仓库存档
  • 处理行业报告页面,把正文整理成结构化文本供后续数据分析
  • 构建知识库时批量抓取文档页面并转换为Markdown,保留标题层级

适合人员

  • 需要把网页文档整理成Markdown的研发工程师,用于代码仓库存档
  • 处理大量网页资料并需要保留链接结构的数据分析师
  • 构建AI应用并需要将网页内容接入LLM管道的开发者