网页转 Markdown
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @org-eyw2ohcx/rookie-ricardo-erduo-skills-web-to-markdown。
技能介绍
要解决的问题
给 Agent 或本地脚本一个 URL,你往往得到的不是正文:r.jina.ai 对某些站有效,YouTube 需要 transcript 管道,微信/知乎/飞书则常在 HTTP 层就返回壳页面或登录墙。手工复制、截图或各站各写一套爬虫,既慢又难维护。
技能如何工作
本技能把域名感知路由和多级回退收成一条工作流:
- 规范化并校验输入 URL;若已是
https://r.jina.ai/https://...或https://defuddle.md/https://...形式,会先还原再重新选路。 - 按域名选路由:
- 通用网页与 X/Twitter → r.jina.ai
- YouTube(youtube.com / youtu.be)→ defuddle.md
- 微信 / 知乎 / 飞书 → scripts/fetch_special_sites.mjs(HTTP 冒充优先,必要时浏览器兜底)
- 通用站的回退链:先试 jina;失败则直连 HTTP + Mozilla Readability;仍失败或内容像 shell 页时,再走浏览器抽取。
微信/知乎/飞书走两阶段:先用 cuimp 模拟现代 Chrome 的 TLS/HTTP 画像并 Readability 清洗;若被拦或仍是空壳,再用 puppeteer-extra 滚动触发懒加载、去掉常见登录蒙层,Turndown 转 Markdown。浏览器路径会优先 CHROME_PATH,再搜系统 Chrome/Chromium/Edge。
默认只输出 Markdown;需要排错时可用 --json 拿到 source、strategy、requestedUrl、resolvedUrl 与正文。
适用边界
反爬、仅登录可见或网络受限时,专用站抽取会明确报错,应改用用户提供的原文等备选输入。references/routing-and-notes.md 记录路由细则与运维注意点;入口在 scripts/url_to_markdown.mjs。
使用场景
- 在 RAG 流水线里把知乎、公众号链接转成 Markdown 再切块入库
- 从 YouTube 分享链接拉出 transcript 级正文供摘要或引用
- Agent 任务里读取 X/Twitter 帖文链接,避免只拿到 Open Graph 摘要
- 通用新闻站 jina 失败时,用 Readability 或浏览器兜底拿到正文
适合人员
- 维护团队知识库的工程师,需要把外链文章收成统一 Markdown 源文件
- 做资讯剪报的分析员,要从微信/知乎原文抓取而不是截图存档
- 编排「读 URL」节点的 AI 应用开发者,希望一条技能覆盖多域名策略
- 技术博客作者,要把参考链接正文纳入 Git 仓库里的草稿