技能介绍

解决什么问题

现代网页越来越依赖 JavaScript 动态渲染内容，传统的 HTTP 请求库（如 HttpClient）只能拿到初始 HTML，拿不到 SPA 框架渲染后的 DOM。当你需要抓取 Vue、React 等单页应用的数据时，拿到的往往是空白容器或加载占位符。PuppeteerSharp 作为 Node.js Puppeteer 的 .NET 移植版本，让你可以在 .NET 生态中直接驱动无头 Chromium，等页面完全渲染后再提取数据。

核心能力与工作方式

这个技能封装了一条完整的抓取流水线，核心能力包括：

SPA 渲染等待：利用 PuppeteerSharp 启动无头浏览器，等待 JavaScript 执行完毕、DOM 稳定后再抓取，避免拿到半成品页面。
Cloudflare 反爬绕过：通过 stealth 插件修改浏览器指纹（如 navigator.webdriver、User-Agent 一致性、插件列表伪装等），降低被挑战拦截的概率。
结构化数据导出：抓取结果通过 Newtonsoft.Json 序列化为 JSON，便于后续入库或 API 返回。

典型流程：启动浏览器实例 → 创建新页面 → 导航到目标 URL → 等待关键元素或网络空闲 → 提取 DOM 文本/属性 → 序列化输出。

适用边界与注意点

运行环境需要安装 .NET SDK 和 Chromium。在 Linux 上如果 Chrome 无法启动，上游仓库提供了详细的故障排查指南。
PuppeteerSharp 提供两种包形态：NetStandard 2.0 适配 .NET Framework 4.6.1 及以上和 .NET Core 2.0+，另有独立的 .NET 8 版本，根据目标运行时选择。
如果项目使用 ASP.NET Classic，需要额外引入 PuppeteerSharp.AspNetFramework 配套库。
Stealth 插件能提高通过率，但无法保证 100% 绕过所有反爬策略，遇到高防护站点可能需要结合代理池或验证码服务。