Jina Reader 网址转 Markdown 与网络搜索 API
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_3c6cb52e/jina-reader-url-to-markdown-web-search。
技能介绍
要解决的问题
Agent 与 RAG 流程最常见的失败点之一,是直接把网页原始 HTML 塞进上下文。导航栏、广告位、Cookie 弹窗、内联脚本会迅速吃掉 token,真正的正文被埋在几百个标签之后。各站点 DOM 结构差异极大,靠一套选择器库去覆盖基本不可行,维护成本会随目标站点改版持续累积。
核心能力
Jina Reader 把这件事收敛成一次 HTTP 请求:
- URL 转 Markdown:给目标地址加上
https://r.jina.ai/前缀,返回清理后的 Markdown 正文。 - 网络搜索:向
https://s.jina.ai/提交查询词,返回结构化的搜索结果,同样是干净的 Markdown 格式。
流程侧不需要写爬虫、不需要处理编码与 CSS 解析,一个 HTTP 客户端就能接入,对 agent 工作流和检索增强场景都很直接。
适用边界与注意点
- 这是在线服务,请求会经过 Jina 的基础设施,内部文档或敏感数据不应走这条路径。
- 返回的 Markdown 不等于原文的精确镜像,重度依赖 JavaScript 渲染的页面可能缺失动态内容。
- 正文提取质量受目标站点结构影响,站点改版后可能需要重新验证。
- 自托管场景下,OSS 分支已移除 MongoDB 存储层,默认以无状态模式运行,缓存需要自行对接 MinIO 或 S3 兼容桶。
使用场景
- 搭建检索增强系统时,需要把候选网页统一转成干净的 Markdown 作为索引输入。
- Agent 在决策前需要搜索最新信息,并把结果转成可解析的 Markdown 直接使用。
- 批量整理技术资料时,需要跳过导航栏和脚本,只提取正文并保存为 Markdown 文件。
- 团队要自建文档抓取服务时,通过自托管 reader 把指定 URL 转成标准 Markdown 格式。
适合人员
- 正在搭建 RAG 流水线的后端工程师,需要一个稳定可靠的网页正文提取方案。
- 开发智能体的工程师,需要搜索接口返回干净 Markdown 以便后续解析和推理。
- 负责内容平台运营的工程师,需要批量抓取网页正文并保存为结构化文档。
- 负责技术调研的技术分析师,需要快速把大量网页转成可读的 Markdown 进行对比分析。