网页正文提取
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_d8e8a095/vernclaw-url-extract。
技能介绍
要解决什么问题
公开网页上的信息往往埋在导航、侧栏和脚本里,你把链接丢给大模型做摘要时,模型经常只能猜页面结构,或者把评论区、推荐位混进「正文」。小红书笔记、微信公众号文章这类页面尤其明显:URL 能打开,但可复制的「主内容」并不直接等于 DOM 全文。
网页正文提取 通过 vernclaw-cli 调用连接器,对指定 --url 做同步抽取,把标题、规范化 URL、正文长度和可读正文压成紧凑 JSON,方便你在摘要、证据归档或搜索链路里先用结构化结果,而不是整页 HTML。
如何工作
使用前需确认 CLI 已登录:vernclaw-cli login,无头环境可用 vernclaw-cli login --api-key。唯一必填参数是 --url,指向要抽取的公开页面。默认向 stdout 打印 JSON;自动化场景应先解析数值型 status,再读 data 里的 Title、URL、Content length、Content 等字段。--pretty 只适合人眼在终端查看,不宜接入流水线。
典型用法包括:摘要前先拉正文;把公开页转成接近 Markdown 的可读证据;把搜索结果里的 URL 串进批量抽取。执行模式为同步,单次调用对应单页结果。
边界与注意点
需登录、带验证码、已删除或被封禁的页面可能直接失败。页面体积极大时内容可能被截断;强依赖浏览器渲染的动态页,返回的正文可能不完整。连接器输出会省略 provider 原始 payload,若你要做深度调试,需对照 Vernclaw CLI 文档而不是假定 stderr 里有完整 HTML。
使用场景
- 从小红书笔记 URL 抽出正文,再交给模型写要点摘要,避免把推荐区文案算进正文
- 抓取微信公众号公开文章链接,把标题与可读正文落成 JSON,作为调研报告的引用材料
- 搜索得到一批公开网页链接后,按 URL 批量同步抽取正文,串进后续清洗与归档流程
- 在 Agent 工作流里,先把用户粘贴的公开页 `invoke` 成结构化内容,再进入问答或对比分析步骤
适合人员
- 做舆情与竞品调研的分析师,需要把小红书、公众号等公开页正文抽成统一 JSON 再汇总
- 搭建检索—抽取—摘要链路的 Agent 工程师,要在 CLI 里用 `--url` 同步拿 Title 与 Content
- 写技术博客或复盘文档的内容运营,要把外部公开链接的正文转成可读证据而非整页 HTML
- 在 CI 或无头环境跑自动采集的同学,已配置 vernclaw API key,需从公开 URL 拉正文进流水线