金炼之-网页工具

解决什么问题

当你让 AI 助手"打开微博看看热搜"或"把这篇知乎回答抓下来"时,默认的 web_fetch 大概率会吃到 403。微博、小红书、抖音、B 站、公众号这类站点的风控策略会直接拒绝非浏览器请求,而强行用浏览器硬爬又慢又脆。金炼之-网页工具要解决的就是这个两难:让网页操作自动化在反爬严格的国内站点上也能跑通,同时不让用户为失败重试操心。

核心机制

技能的核心是国内站点优先 + 多级降级链:

• 站点白名单优先:微博、小红书、抖音、B 站、知乎、CSDN、博客园、百度网盘等 70+ 国内站点,默认走 opencli 适配器而非 web_fetch,避开 403。
• 5 级降级链:web_search(百度/谷歌)→ web_fetch(静态内容)→ opencli(Fallback)→ browser(JS 渲染兜底)。任一工具失败,自动换下一个,全程不打断用户,用户侧只看到"✓ 拿到结果"。
• 失败日志:所有失败原因写入 ~/.mavis-体系/web-tools.log,超过 10 秒的慢调用自动红色告警,便于事后排查而不是当场报错。

适用边界

这个技能明确知道自己"搞不定什么":

• 不绕过登录:需要登录的页面会要求用户人工登录或提供 cookie,不会自动输账号密码。
• CAPTCHA 停下来:遇到滑块、reCAPTCHA,会告知用户人工过验证,不会尝试绕过。
• 敏感操作二次确认:发帖、删除、支付必须得到明确授权才会继续。
• 已知黑名单:公众号文章原文已下线、小红书个人主页风控、抖音视频直链需要 X-Bogus 签名,遇到会直接说明并给替代方案。
• 限速与并发控制:批量抓取会自动限速到每 5-10 秒一个请求,避免双方 IP 被封。

v1.0.2 还加了实验性的自学习机制:成功抓取的站点会沉淀一条经验,下次同站点优先复用最优路径。