Agent的花园 · 全能内容抓取

问题背景

Agent 在拉取 B 站、知乎、微博、公众号等页面时，往往遇到强反爬：纯 requests 访问返回空壳、403 或验证码页，后续摘要、引用、对比分析都建立在「拿不到正文」上。

工作方式

Skill 提供 三层降级，对同一 URL 自动按序尝试，无需手动选策略：

1. web_extract 直取：requests + BeautifulSoup，适合静态、SEO 友好的文章页；主流 UGC 平台成功率通常较低。
2. 搜索引擎中转：用 site: 限定域名搜目标，再抓搜索结果页解析链接；适合有搜索缓存、但直链打不通的场景，摘要往往不完整。
3. 浏览器渲染（推荐主路径）：Playwright 执行 JS，取真实标题、正文与评论区；文档建议 默认以第三层为主，前两层作自动备选。

调用 extract_content(url) 即走完整降级链；另有 extract_by_search、batch_extract。可直连工具，也可通过 content-extractor-mcp 跨底座使用。

边界与注意

• 无桌面环境的 Linux 云端跑第三层需单独处理 Playwright/浏览器依赖（文档有「智远参考」说明）。
• 未装渲染引擎时只能依赖前两层，复杂动态页成功率会明显下降。
• 搜索层依赖搜索引擎结果形态，不能替代「必须登录或仅 App 内可见」的内容。