网页登录态数据抓取器
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_bc7b5932/web-session-miner。
技能介绍
复制粘贴的困局
很多数据平台提供了网页版会员,允许在浏览器里无次数限制地查看数据。但当你要处理海量主体时,传统的「打开详情页 -> 肉眼扫描 -> 复制粘贴 -> 整理表格」流程就显得极为笨拙。一旦遇到动态加载、分页延迟或同名实体,人工作业几乎无法保证数据的完整性与准确率。更尴尬的是,这些平台的官方 API 往往还要按次计费,免费额度堪称“指甲缝里的盐”。
复用登录态的自动化机制
本技能的核心逻辑在于复用浏览器的登录态(Cookie),通过驱动真实浏览器去访问 target 站点,将人工操作转化为自动化代码执行。\n
核心能力
- 免登采集:继承现有浏览器会话,无需重复扫码或输入密码。
- 站点适配器:通过
recipes/目录下的 Markdown 文件描述特定站点的 URL 规律、DOM 结构及风控策略。 - 双轨计费优势:如果站点同时提供网页版和按量计费的 API,利用网页版抓取意味着零 API 积分消耗。
通用采集流程
- 建立会话:执行
bsk session start,开启独立的浏览器上下文。 - 页面侦察:利用
bsk snapshot获取页面 DOM 结构,分析字段位置。 - 精准提取:定位目标数据容器,解析正文内容并结构化输出。
- 生成报告:依据抓取结果生成包含关系图谱、明细表的 HTML 报告,并附带抓取时间与数据范围的脚注。
边界与风险提示
在使用本技能前,请务必了解其局限性与合规边界:
- 仅限已授权数据:本工具仅用于提取你自己账号有权查看的会员义务内数据。严禁用于破解付费墙、绕过验证码或获取未授权的商业数据。
- 同名歧义甄别:在抓取人物任职图谱或关联企业时,需结合简介、关联舆情等多重信息交叉验证,排除同名干扰。
- 单页应用(SPA)坑位:遇到分页无响应或列表加载不出时,优先抓取当前可见列表,并在报告中标注「前 N 条」,确保数据逻辑真实。
使用场景
- 当持有某商查平台年度会员却无 API 额度时,批量获取特定行业前 100 家企业实控人与股权穿透图。
- 处理某会员制垂直数据库的数万条筛选结果,自动提取详情页联系方式与公开财务指标并生成对照表。
- 抓取使用 SPA 前端的商业数据平台,处理分页按钮点击后未渲染的问题并提取当前已有的搜索列表。
- 核验目标公司图谱时,复用已登录浏览器后台,在用户不察觉的情况下静默抓取关联的自然人任职信息。
适合人员
- 需在存量会员体系中低成本获取深度数据的数据分析工程师
- 试图绕过浏览器单页应用限制、复用登录态抓取数据的爬虫工程师
- 需要在无 API 额度情况下批量整理企业关联图谱的投研人员
- 负责将网页端重复性的字段复制整理工作转化为脚本的自动化运维