网页抓取引擎

要解决的具体问题

手工维护爬虫基础设施的成本不低：从关键词搜索发现目标页面，到处理 JavaScript 渲染、提取结构化字段，再到多步骤点击、表单提交与登录态保持，每一步都要写大量胶水代码。海外 SaaS API 在国内访问不稳定，纯 requests 又处理不了动态内容。浏览器自动化脚本在批量抓取时，很容易因反爬、超时或编码问题中断，排查成本高。

核心能力与关键步骤

本技能把常见抓取流程拆成几个可组合的模块：

搜索与发现：通过关键词搜索、sitemap.xml 扫描或 URL 队列构建爬取范围，输出 URL、标题和摘要。

单页抓取与结构化提取：支持 Markdown、HTML 和纯文本输出；使用 JSON Schema 定义字段，自动识别页面内容并转成 JSON。简单页面可用 Firecrawl，复杂交互交给 Playwright，国内开源场景优先 Crawl4AI。

批量异步爬取：支持深度控制、路径 include/exclude、并发与速率限制，并按 URL 规范化和内容哈希去重。

多步骤浏览器交互：可执行点击、表单填写、翻页，并支持注入 Cookie/Token 保持登录态，处理弹窗和等待关键元素。

数据处理与导出：清洗 HTML 标签、统一编码，按 Schema 映射字段，导出 CSV、JSON、Parquet 或写入数据库。

使用时，先明确采集目标并做合规检查（robots.txt、服务条款、数据版权），再按页面类型选择方案：静态页面用 Firecrawl 或 BeautifulSoup；JS 渲染页面用 Firecrawl 或 Playwright；大规模爬取优先 Crawl4AI；多步骤交互用 Playwright。最后根据异常调整超时、重试、代理和编码检测策略。

适用边界与注意点

本技能是单机批量采集，不适合大规模分布式爬虫（需要 Scrapy Cluster 等架构）、实时数据流或 APP 内抓取。它只处理公开可访问内容，不负责破解加密或混淆内容。抓取需遵守 robots.txt 与当地法律；登录态私有数据技术上可行，但要注意隐私与合规。Firecrawl 在国内需要代理，免费额度有限，国内场景建议优先 Crawl4AI 或 Playwright。