Agent Skills
返回列表
📊

网页登录态数据抓取器

数据分析 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @user_bc7b5932/web-session-miner。

技能介绍

复制粘贴的困局

很多数据平台提供了网页版会员,允许在浏览器里无次数限制地查看数据。但当你要处理海量主体时,传统的「打开详情页 -> 肉眼扫描 -> 复制粘贴 -> 整理表格」流程就显得极为笨拙。一旦遇到动态加载、分页延迟或同名实体,人工作业几乎无法保证数据的完整性与准确率。更尴尬的是,这些平台的官方 API 往往还要按次计费,免费额度堪称“指甲缝里的盐”。

复用登录态的自动化机制

本技能的核心逻辑在于复用浏览器的登录态(Cookie),通过驱动真实浏览器去访问 target 站点,将人工操作转化为自动化代码执行。\n

核心能力

  • 免登采集:继承现有浏览器会话,无需重复扫码或输入密码。
  • 站点适配器:通过 recipes/ 目录下的 Markdown 文件描述特定站点的 URL 规律、DOM 结构及风控策略。
  • 双轨计费优势:如果站点同时提供网页版和按量计费的 API,利用网页版抓取意味着零 API 积分消耗。

通用采集流程

  1. 建立会话:执行 bsk session start,开启独立的浏览器上下文。
  2. 页面侦察:利用 bsk snapshot 获取页面 DOM 结构,分析字段位置。
  3. 精准提取:定位目标数据容器,解析正文内容并结构化输出。
  4. 生成报告:依据抓取结果生成包含关系图谱、明细表的 HTML 报告,并附带抓取时间与数据范围的脚注。

边界与风险提示

在使用本技能前,请务必了解其局限性与合规边界:

  • 仅限已授权数据:本工具仅用于提取你自己账号有权查看的会员义务内数据。严禁用于破解付费墙、绕过验证码或获取未授权的商业数据。
  • 同名歧义甄别:在抓取人物任职图谱或关联企业时,需结合简介、关联舆情等多重信息交叉验证,排除同名干扰。
  • 单页应用(SPA)坑位:遇到分页无响应或列表加载不出时,优先抓取当前可见列表,并在报告中标注「前 N 条」,确保数据逻辑真实。

使用场景

  • 当持有某商查平台年度会员却无 API 额度时,批量获取特定行业前 100 家企业实控人与股权穿透图。
  • 处理某会员制垂直数据库的数万条筛选结果,自动提取详情页联系方式与公开财务指标并生成对照表。
  • 抓取使用 SPA 前端的商业数据平台,处理分页按钮点击后未渲染的问题并提取当前已有的搜索列表。
  • 核验目标公司图谱时,复用已登录浏览器后台,在用户不察觉的情况下静默抓取关联的自然人任职信息。

适合人员

  • 需在存量会员体系中低成本获取深度数据的数据分析工程师
  • 试图绕过浏览器单页应用限制、复用登录态抓取数据的爬虫工程师
  • 需要在无 API 额度情况下批量整理企业关联图谱的投研人员
  • 负责将网页端重复性的字段复制整理工作转化为脚本的自动化运维