商家后台登录态爬取
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_223dc0b0/ksmy002。
技能介绍
要解决什么问题
商家后台(订单、商品、报表等)大多依赖登录后的 Cookie 与浏览器 Storage。用普通 HTTP 客户端往往拿不到完整 DOM,分页和「滚动再加载」也会让单次请求只得到半截页面。本技能面向已在本地持久化登录态的场景:在 Agent 驱动浏览器的前提下,按 URL 抓取完整 HTML,并尽量覆盖列表分页与详情子链。
工作流程与核心能力
- 加载登录态:从约定路径(如
/home/ubuntu/storage/logins/{merchant_id}_session.json)读取 cookies 与 storage。 - 注入登录态:写入浏览器上下文后再访问目标 URL,避免未登录跳转。
- 执行爬取:导航到目标页,用
networkidle或指定选择器等待核心元素就绪。 - 处理动态内容:对无限滚动或异步区块执行滚动,拉齐当前视口外的 HTML。
- 发现与遍历:识别分页控件循环抓取;从页面提取子链接(如订单详情)并入队继续爬。
- 输出:返回完整 HTML 字符串,或落盘为本地文件。
典型指令包括:「使用 [商家ID] 的登录态抓取 [URL] 页面」「自动遍历并抓取 [商家后台] 的所有订单列表页」。
适用边界与注意点
- 爬取频率需控制,降低触发反爬或限流的风险。
- 若出现跳回登录页等登录态失效迹象,应配合
BrowserLoginSkill重新登录后再继续。 - 本技能解决的是「登录态 + 浏览器渲染后的页面快照」,不替代对 API 契约、数据清洗或合规审计的单独设计。
使用场景
- 某商家 session 已写入 `/storage/logins/{merchant_id}_session.json`,需用该商家 ID 登录态打开指定后台 URL 并导出完整 HTML。
- 商家订单列表通过底部分页按钮切换,需在保持 cookies 有效的前提下自动循环翻页并抓取每一页源码。
- 列表采用滚动加载更多订单,需在目标 URL 上执行滚动并等待 `networkidle` 或选择器就绪后再取 DOM。
- 从订单列表页提取详情链接加入队列,在同一商家登录态下依次打开并保存各订单详情页 HTML。
适合人员
- 负责维护多商家 session 文件、需按商家 ID 定期抓取后台列表页 HTML 留档的电商运营或运维
- 商家后台未提供可用 API、只能从已登录管理界面取页面数据做解析的电商数据分析师
- 在 Agent 工作流中串联 BrowserLoginSkill 与爬取步骤、用于订单列表巡检或对账的后端/集成工程师
- 需要复现登录后分页与异步加载行为、用 HTML 快照排查页面问题的 QA 或商家侧技术支持