Agent Skills
返回列表
📊

Zhao 内容采集器(独立采集脚手架)

数据分析 更新于 2026.08.30

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @user_d537bc1e/zhao-content-collector。

技能介绍

要解决什么问题

很多团队需要把网页、公众号、PDF 或剪贴板里的内容稳定落成结构化 Markdown,供后续检索或流水线消费,但又不想把采集和大模型摘要、知识图谱绑在同一条链路上。常见痛点包括:各平台 DOM 与反爬策略不同、登录墙拦在门外、以及「采集脚本」和「Agent/MCP 服务」耦合后难以在 CI 或离线环境单独跑。

本技能提供的是 L1 纯采集脚手架:输入 URL、本地文件 或粘贴文本 → 命中对应 适配器 → 抓取正文 → 转 Markdown → 写入约定 frontmatter → 落到 raw/。明确只做搬运,不做摘要、不改写、不评级。

如何工作

脚手架位于 scripts/collector-template/,复制到目标项目即可运行。collector.py 维护可插拔的 ADAPTERS 列表:每个适配器实现 matches(item) 与 handle(item),返回 CollectResult(markdown, title, source_links)。已内置七类形态(如通用网页、本地文件、粘贴文本及若干中文内容平台)。

落盘目录可按软件隔离:默认 ./raw/,或用 COLLECTOR_OUTPUT_DIR、命令行 --outdir 覆盖;Cookie 目录同理。输出文件名为 raw-<id>.md,frontmatter 含 id、status: pending、software_identity(中文平台名)、timestamp、sensitivity、source_url、source_links 等字段,便于下游只消费「未加工原文」。

反爬与登录:普通站点优先 requests + 移动端 UA 并解析内嵌 JSON;强反爬(如部分短视频/笔记站)可走 adapters/_browser.py 的 render_html() 无头 Chromium。登录墙需在 cookies/ 放置 Playwright 格式 JSON,或运行时 --cookies 注入。

扩展新平台时:在 adapters/ 新建模块、注册到 ADAPTERS(平台适配器应排在通用 URL 之前),并注意 software_identity 与内部 identity 解耦,避免 Cookie 文件名与中文平台名硬绑。

边界与注意点

  • 不做:LLM 调用、IMA、MCP server、敏感词识别、知识图谱、内容蒸馏;失败项聚合报错但不阻塞其余条目;正文整篇保存不截断。
  • 限制:无登录态时部分站点仅返回登录墙;懒加载图可能只有占位符;视频 ASR 默认小模型,可用 VIDEO_ASR_MODEL=base 换精度;playwright、openai-whisper、rapidocr-onnxruntime 按需安装,体积较大。
  • 配套 references/ 中有需求规格、开发说明与能力分级文档,便于对照 DoD 与范围。

使用场景

  • 为新软件单独搭建「抓 URL/粘贴文本 → 存 raw/*.md」流水线,且进程不调用大模型
  • 周报素材来自知乎、头条等页,需批量转成带 frontmatter 的原文 Markdown 归档
  • 本地 PDF、扫描图或视频需离线转 Markdown(OCR/ASR),再按统一目录落盘
  • 要在两周内新增微博或 B 站适配器,只改 adapters/ 与 ADAPTERS 注册

适合人员

  • 维护多产品内容库的工程师,要求每个产品独立 `raw/` 且采集可脚本化定时跑
  • 做个人知识摄入的开发者,需要 Cookie 注入后抓取登录墙内的笔记/视频页原文
  • 数据或运营同学负责把公众号、网页剪报落盘,下游另有团队做摘要而非采集侧调用模型
  • 正在写采集层需求文档的技术负责人,要对齐七字段 frontmatter 与「不做蒸馏」边界