Agent Skills
返回列表
📚

知识星球文章归档下载

知识管理 更新于 2026.08.30

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @user_1314aee0/zsxq-download。

技能介绍

为什么放弃 API 改用 DOM 采集

知识星球(wx.zsxq.com/group/)的官方 REST API(如 /v2/groups/.../topics)在实际工程落地时存在明显的坑点:count 参数返回不稳定,且基于 end_time 的分页机制极易返回空结果,导致批量拉取数据时频繁漏帖或断连。为了彻底解决数据完整性问题,本技能放弃了脆弱的 API 分页方案,转而采用基于 DOM 无限滚动 的采集策略。通过直接解析已登录状态下的页面 DOM 节点 .topic-container,不仅能绕过接口限制,还能最真实地还原用户在网页端看到的数据列表。

核心工作流拆解

技能的核心采集链路依赖于 browser-skill(bsk)。首先,它会复用用户浏览器中已登录知识星球的标签页(bsk tab borrow),省去重新鉴权的麻烦。在页面加载后,最关键的一步是强制切换到「最新」标签,否则系统默认可能停留在「精华」,导致大面积漏采。

随后进入核心的批次滚动循环:脚本 scripts/extract.js 会被注入页面,按照设定的 BATCH_SCROLLS(如 8 次)触发滚动,将新加载的帖子追加至 localStorage 中实现幂等去重。循环往复直到页面触底。采集完成后,由于浏览器原生的 Blob 下载常被策略拦截,技能改用本地 Python HTTP 服务接收 POST 请求,将数据落盘为 JSON。最后,to_markdown.py 脚本接管 JSON,自动提取标题(优先识别 【...】 格式),生成规范的 日期-标题-作者.md 文件,并按年份建子目录归档,同名文件自动追加序号,同时产出一份包含统计信息的 _README.md。

适用边界与踩坑指南

这套方案虽稳定,但有其明确的运行边界。首先,它高度依赖本机 Chrome/Edge 浏览器的登录态,且 browser-skill 的 daemon 必须处于在线连接状态。

在实际运行中,有几个典型的“翻车”场景需要注意:

  • 只采到少量数据:90% 的原因是忘记切换到「最新」标签,导致只抓到了精华置顶帖。
  • 单批次执行超时:大星球滚动加载容易消耗时间,遇到超时可适当调低 BATCH_SCROLLS 数值重试,localStorage 中的去重状态不会丢失。
  • 落盘截断失败:如果本机配置了 HTTP/HTTPS 代理,可能会导致本地服务无法访问,需在请求中增加 --noproxy '*' 参数。

使用场景

  • 研究员担心付费星球因违规被封导致数据清空,需要绕过不稳定的接口限制,滚动抓取所有最新的主题帖子并转存为结构化文本。
  • 社群主理人在定期清退违规成员前,需要批量导出整年的最新主题帖,自动按年份建子目录归档并生成包含总数与作者统计的目录。
  • 内容运营需把星球付费专栏沉淀到本地知识库,要求严格按日期标题作者格式生成纯净文本,确保相似标题能自动追加序号防覆盖。

适合人员

  • 资深知识星球付费读者,诉求是防止付费社群突然关停导致内容丢失,需要将所有历史长文脱机永久保存。
  • 知识星球社群主理人,诉求是定期盘点和备份自己社群内的产出,需要按年份和作者自动统计与检索历史主题帖。
  • 独立的内容运营或开发者,诉求是将付费星球的优质专栏作为语料沉淀到本地库,需要纯净结构化的文本数据。