Agent Skills
返回列表
ima 网站全量抓取入库

ima 网站全量抓取入库

知识管理 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @user_55bc9e8d/sites-to-ima。

技能介绍

要解决什么问题

要把某个内容站(营销、资讯、博客栏目)做成可检索的知识库,手工复制链接和逐篇导入往往扛不住分页和「加载更多」。更麻烦的是:全量目录可能上千行,而真正导入知识库的只是一批精选文章——如果混在一篇笔记里,ima 客户端打不开,进度也容易丢。

技能如何工作

本 skill 在 ima.copilot 环境里跑,依赖 push_note、import_urls 等平台 API,而不是独立爬虫脚本。典型路径是:

  • 探测抓取通道:优先 WordPress REST、/feed、sitemap;不行再用 Playwright 扫主列表区并翻页。
  • 全量落盘:结果写入 output/{site}_full.json,并按分类导出与索引列一致的 xlsx/csv。
  • 双轨笔记:每类一篇【站点·分类索引】(全量目录);全站一篇【分类索引·更新】(实际导入 KB 的 URL + 类别);另有一篇【更新手册】记录通道、note_id、folder_id。
  • 本地进度:output/{site}_progress.json 记录索引进度、导入进度与全局序号,便于用户说「更新 XX 站点」时不必先读远端笔记。
  • 知识库导入:在确认目标 kb_id、文件夹与笔记本后,import_urls 分批导入;增量时按 last_date 抓新文并追加到笔记底部(只增不删)。

执行前有硬性确认门:目标知识库与笔记本、首次全量计划、以及任何 import_urls 前的数量与风险说明。

适用边界与注意点

  • 不适用:单篇文章阅读、非网站数据处理;纯 KB 管理请用 ima-knowledge。
  • Cloudflare 强防护站(403 + "Just a moment...")本地通道常全灭,需按文档做平台试导入验证;失败即停,避免僵尸「解析中」条目。
  • 巨长分类索引笔记可能需在客户端绕过打开;表格含 | 须走 COS + push_note(content_cos_key),避免 WAF。

使用场景

  • 运营要把行业资讯站多个栏目全量抓成表格,并按分类建 ima 索引笔记后导入指定知识库文件夹
  • PR/市场同学需要把 WordPress 博客各分类最新约 180 篇先入 KB,并保留全量目录供检索对照
  • 已用本流程建过站点索引,对话里说「更新 marksites 站点 XX」按 progress.json 续抓新文章并追加统一更新笔记
  • 强防护站需在未批量 import 前用 1~2 篇 URL 验证平台能否解析,再按确认模板执行全量导入

适合人员

  • 在 ima 里维护行业情报库、要把整站栏目做成可增量更新的分类索引与 KB 导入记录的从业者
  • 熟悉 WordPress/RSS 结构、愿意先确认目标知识库与笔记本再跑全量抓取的技术运营
  • 用 PR Daily 式双轨笔记管理大量外链目录、又怕单次导入搞乱序号与进度的内容策划
  • 在腾讯 ima.copilot 沙箱中编排 import_urls 与 push_note、需要遵守只增不删写入约束的自动化使用者