浏览器自动化方法论指南
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_e562897e/browser-automation-guide。
技能介绍
什么时候该用浏览器自动化
当页面依赖 JavaScript 渲染,或者需要登录、点击、滚动才能拿到数据,普通 HTTP 抓取往往返回空白或残缺。本指南便是为这类场景准备的决策与操作纪律,聚焦“要不要启动浏览器、启动后按什么顺序做、什么时候必须停”。它只提供方法论,不内置账号、凭证或脚本。
它如何工作
- 先静态,后动态:有明确
URL且为静态内容,先用轻量抓取;只有需要登录态或交互时,才升级到浏览器通道。 - 登录由用户完成:在受控浏览器中完成登录并复用会话,避免代输入凭证或重复登录触发风控。
- 稳定定位元素:优先选择
id与稳定data-*属性,避免易变层级路径。 - 智能等待:等待目标元素可见再继续,而不是固定延时;失败重试一次,仍失败则记录并停止。
- 采集与交付:输出结构化文本或截图到工作区文件,并保留关键步骤截图以便追溯。
适用边界与注意点
- 适用于动态列表采集、登录后报表导出与表单批量填报等场景。
- 不适用于纯静态文章或文档;能静态抓取的不必启动浏览器。
- 任何会修改用户数据的动作都要二次确认;验证码破解、越权访问、绕过平台安全机制禁止。
- 不读取或改动桌面、下载、文档等个人目录,产出仅限工作区。
- 高频请求需加间隔,避免触发风控或封禁。
使用场景
- 页面用脚本渲染商品列表,静态抓取为空,需采集名称与价格并落盘为表格
- 需登录才能查看内部报表,用户完成登录后,需复用会话导出报表到工作区
- 需在后台逐条提交配置项,需先走通单条并截图确认,再批量执行并校验
- 需截取动态加载页面的整页截图作为交付物,确保截图反映真实渲染状态
适合人员
- 爬虫工程师:常处理动态渲染网页数据采集,需解决静态抓取失效、元素定位不稳定问题,需要可复用的操作纪律
- 数据运营:需从内部系统导出报表,要求登录授权流程清晰,操作可追溯,避免账号风险
- 技术支持:需在后台批量提交配置项,需要明确的确认机制与失败处理流程,降低操作失误
- 测试工程师:需对动态页面生成截图交付物,关注渲染完整性与关键步骤留存,需标准化采集流程