网页内容提取工具
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @org-rn88lg3j/read-web。
技能介绍
解决的问题
把网页交给大模型时,直接拼接 HTML 往往带来大量噪声:导航、脚本、样式、推荐位和重复模板会挤占 token,正文结构、链接关系与代码块却容易被淹没。@org-rn88lg3j/read-web 想解决的就是这件事:把目标 URL 抓取后整理成干净的 Markdown,保留链接与结构,方便后续做文档阅读、内容分析和信息收集。
如何工作
这个技能采用“模型路由 + 脚本调用 API”的分工:大模型负责理解用户意图、选择工具并提取参数,代码负责调用 API,而不是让模型自己去搜索或拼装网页数据。
- 密钥检查:首次使用时若配置里没有
XBY_APIKEY,必须通过AskUserQuestion向用户询问;拿到后调用scripts.config.set_api_key(api_key)保存。 - 工具选择:当前技能提供
scripts.tools.read_website,用于网页内容提取并转 Markdown。 - 参数提取:按用户意图准备参数。
url为必填,表示要抓取并转换的 HTTP/HTTPS 地址;pages可选,默认1,用于限制抓取页数;cookiesFile可选,用于需要登录态的页面。参数不完整时,应向用户追问。 - 调用与返回:使用关键字参数调用工具函数,返回
result["raw"]、result["success"]和result["message"],再把raw中的原始数据整理后展示。
适用边界与注意点
它适合读取文档、分析正文、收集网页信息这类“页面转 Markdown”的场景,但必须先配置 API 密钥;缺少密钥时不能自行搜索或编造数据,应停止并询问用户。对于需要认证的页面,可以提供 Netscape cookie 文件;pages 只控制抓取范围,不承诺页面内所有资源的完整还原。返回结果来自 API 原始数据,仍需按业务需要处理失败、编码或格式异常。
使用场景
- 阅读第三方API文档网页,提取正文与链接,转成Markdown在代码仓库存档
- 处理行业报告页面,把正文整理成结构化文本供后续数据分析
- 构建知识库时批量抓取文档页面并转换为Markdown,保留标题层级
适合人员
- 需要把网页文档整理成Markdown的研发工程师,用于代码仓库存档
- 处理大量网页资料并需要保留链接结构的数据分析师
- 构建AI应用并需要将网页内容接入LLM管道的开发者