技能介绍

解决什么问题

命令行里抓一个网页，经常拿回来一段还没执行 JS 的骨架 HTML：正文在异步请求之后才注入，图片懒加载，评论区要滚动才出现。直接把它丢给 HTML 转 Markdown 的库，结果就是满屏 script/style 噪声、标签嵌套错乱、图片视频链接全部失效。更麻烦的是登录墙和验证码——抓取「成功」了，但保存下来的是登录页。

这个技能的目标是给 Agent 一条可复现的抓取链路：真渲染、可等待、输出路径可控、失败时能回溯现场。

技能如何工作

渲染抓取：底层调用 baoyu-fetch.md CLI，通过 Chrome DevTools Protocol 拿到执行完脚本之后的 DOM，而不是原始 HTTP 响应。可用 --headless 强制无界面运行，或用 --cdp-url 复用已有的 CDP 端点。
站点适配器：--adapter 支持 x、youtube、hn、generic，默认自动探测。适配器负责把各站点的非标结构（时间线、视频页、评论列表）归一化。
首次配置不静默：检测不到 EXTEND.md 时流程会被阻塞，必须先询问媒体下载策略、默认输出目录、配置保存位置三项，再写入配置文件。不存在「默默用默认值跑完」这种路径。
输出路径由 Agent 构造：规则是 {base_dir}/{domain}/{slug}/{slug}.md，每个 URL 独占目录以便媒体文件隔离；同名冲突时追加时间戳后缀。
媒体处理：开启 --download-media 后图片和视频落到同级的 imgs/、videos/，Markdown 里的链接被改写为本地相对路径。
交互等待：--wait-for interaction（别名 --wait-for-login）让页面停在登录或验证码步骤等待人工处理，轮询间隔与超时时间可调，默认最长 10 分钟。
可回溯：--debug-dir 会写出 document.json、page.html、markdown.md、network.json，排查渲染差异时能直接对比抓到的 DOM 和最终产物。

适用边界与注意点

默认 headless 抓取只能算临时结果。部分站点在无界面模式下渲染路径不同，CLI 不会报错，但会静默返回低质量内容。每次 headless 运行后都应检查保存下来的 Markdown，可疑时参考 references/quality-gate.md 换捕获模式重试。
--download-media 依赖 --output 已经设置，否则媒体目录无从确定。
适配器覆盖范围有限，冷门站点会落到 generic 分支，结构归一化效果取决于该站点的 DOM 组织方式。
安全边界：不自动安装依赖、不修改系统权限、不创建持久化任务。涉及发送、发布、删除、付款、部署等外部写入时，先展示目标和影响并取得明确确认。凭据只用于用户指定的对应服务，不回显、不记录、不转发。