Jina Reader 网页内容提取

要解决的问题

把一个网页 URL 直接交给模型，往往得到的是导航、脚本、样式和重复模板混在一起的文本；如果是 JavaScript 渲染页面，静态抓取甚至拿不到正文；遇到 PDF 或跨页内容，解析链路还要单独维护。

技能如何工作

• 核心入口：调用 Jina Reader API r.jina.ai，把 URL 转成干净 Markdown。
• 渲染与格式：支持 JavaScript 渲染页面，并能处理 PDF 提取，减少为特定站点写解析器的工作量。
• 范围控制：可通过 CSS 选择器限定提取范围，例如 article、.main-content、#post-body，只保留目标内容。
• 多页抓取：支持多页爬取，并提供 depth control，用于控制从起始 URL 向外展开的页面深度。
• 输出形态：返回结构化、面向 LLM 的文本，适合继续做摘要、问答、分类或入库。

适用边界与注意点

• 它能降低“从网页取正文”的工程成本，但不是万能抓取器；站点结构变化仍可能影响 CSS 选择器命中率。
• 对要求特定浏览器或屏蔽爬虫的站点，可覆盖浏览器 User-Agent；这能缓解一部分访问限制，但不能保证绕过所有反爬策略。
• 多页场景需要明确起始 URL、目标选择器和深度边界，避免把无关页面、评论区或站点导航混入结果。
• PDF 提取对扫描件、复杂表格或公式的还原能力取决于上游解析效果，正式使用前应抽样验证。