智能网页抓取 Plus

要解决什么问题

Agent 需要读网页时，直接抓 HTML 往往带着导航、脚本和反爬页面，既难解析又容易在 Cloudflare 等站点上失败。你更需要的是可阅读的 Markdown 正文，并且有一条在「轻量 HTTP」和「真浏览器/爬虫」之间可预期的降级路径。

技能如何工作

本技能把抓取流程固定为四级回退：

1. 先请求 markdown.new/ + 目标 URL，适合不少 Cloudflare 站点，转换质量较高。
2. 失败则试 defuddle.md/ + URL，通用面更广。
3. 再失败走 r.jina.ai/ + URL（Jina 提供的阅读服务）。
4. 上述转换服务都不可用时，才执行 Scrapling 爬虫（见 scripts/scrapling_fetcher.py）。

日常优先用 web_fetch 工具按上述顺序拉内容；若遇到验证码或强交互，再改用浏览器工具；Scrapling 仅作最后手段。

适用边界与注意点

• 转换服务质量取决于第三方服务与目标站策略，同一 URL 在不同时间可能走不同分支。
• 浏览器与 Scrapling 更重、更慢，也更受站点 ToS 与本地环境限制；不要默认对所有页面都跳过前几级服务。
• 技能描述的是策略与脚本入口，具体能否访问仍取决于网络、鉴权与站点防护。