Browsertrix 高保真网页归档爬虫

要解决的问题

纯 HTTP 爬虫只能拿到服务端返回的 HTML 文本。对于依赖 JavaScript 渲染、异步加载资源或带交互行为的页面，抓到的内容往往只是空壳：样式缺失、脚本不执行、动态内容永远不会出现在存档里。等到事后审查归档质量时，已经无法还原页面当时的真实状态。

核心思路

Browsertrix Crawler 的做法是把爬取过程放进真实浏览器。它底层基于 Puppeteer 驱动 Chrome，通过 Chrome DevTools Protocol 控制页面加载、资源拦截与网络交互，从而捕获渲染后的 DOM 和完整请求轨迹。整个爬取任务封装在单个 Docker 容器中运行，便于隔离环境和批量调度。

关键能力包括：

• 高保真捕获：在浏览器内完整记录页面资源，支持事后 QA 回放分析
• 行为可配置：爬取深度、并发等行为可按站点调整
• 容器化执行：单容器承载复杂爬取任务，减少环境依赖

适用边界

• 需要本地安装并运行 Docker，环境搭建成本高于普通脚本
• 基于浏览器的爬取资源开销大，不适合海量浅层页面
• 上游源码安装与使用说明无法自动提取，在敏感流程中运行前应先审查上游项目
• 文档见 https://crawler.docs.browsertrix.com/