ima 网站全量抓取入库
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_55bc9e8d/sites-to-ima。
技能介绍
要解决什么问题
要把某个内容站(营销、资讯、博客栏目)做成可检索的知识库,手工复制链接和逐篇导入往往扛不住分页和「加载更多」。更麻烦的是:全量目录可能上千行,而真正导入知识库的只是一批精选文章——如果混在一篇笔记里,ima 客户端打不开,进度也容易丢。
技能如何工作
本 skill 在 ima.copilot 环境里跑,依赖 push_note、import_urls 等平台 API,而不是独立爬虫脚本。典型路径是:
- 探测抓取通道:优先 WordPress REST、
/feed、sitemap;不行再用 Playwright 扫主列表区并翻页。 - 全量落盘:结果写入
output/{site}_full.json,并按分类导出与索引列一致的 xlsx/csv。 - 双轨笔记:每类一篇【站点·分类索引】(全量目录);全站一篇【分类索引·更新】(实际导入 KB 的 URL + 类别);另有一篇【更新手册】记录通道、
note_id、folder_id。 - 本地进度:
output/{site}_progress.json记录索引进度、导入进度与全局序号,便于用户说「更新 XX 站点」时不必先读远端笔记。 - 知识库导入:在确认目标
kb_id、文件夹与笔记本后,import_urls分批导入;增量时按last_date抓新文并追加到笔记底部(只增不删)。
执行前有硬性确认门:目标知识库与笔记本、首次全量计划、以及任何 import_urls 前的数量与风险说明。
适用边界与注意点
- 不适用:单篇文章阅读、非网站数据处理;纯 KB 管理请用 ima-knowledge。
- Cloudflare 强防护站(403 + "Just a moment...")本地通道常全灭,需按文档做平台试导入验证;失败即停,避免僵尸「解析中」条目。
- 巨长分类索引笔记可能需在客户端绕过打开;表格含
|须走 COS +push_note(content_cos_key),避免 WAF。
使用场景
- 运营要把行业资讯站多个栏目全量抓成表格,并按分类建 ima 索引笔记后导入指定知识库文件夹
- PR/市场同学需要把 WordPress 博客各分类最新约 180 篇先入 KB,并保留全量目录供检索对照
- 已用本流程建过站点索引,对话里说「更新 marksites 站点 XX」按 progress.json 续抓新文章并追加统一更新笔记
- 强防护站需在未批量 import 前用 1~2 篇 URL 验证平台能否解析,再按确认模板执行全量导入
适合人员
- 在 ima 里维护行业情报库、要把整站栏目做成可增量更新的分类索引与 KB 导入记录的从业者
- 熟悉 WordPress/RSS 结构、愿意先确认目标知识库与笔记本再跑全量抓取的技术运营
- 用 PR Daily 式双轨笔记管理大量外链目录、又怕单次导入搞乱序号与进度的内容策划
- 在腾讯 ima.copilot 沙箱中编排 import_urls 与 push_note、需要遵守只增不删写入约束的自动化使用者