公众号定向采集与IMA知识库导入
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_e63d2746/wechat-mp-collect-to-ima。
技能介绍
让微信公众号的定向采集真正跑在状态机上
做行业情报或竞品追踪时,常见需求是:每周把若干个公众号的新文章抓下来,按主题分类,再归档进 IMA 知识库的固定文件夹。难点从来不是“能不能抓到一篇”,而是如何让这件事能重复、可预期地跑下去——登录态会过期,文章会重复,文件夹结构靠人维护,采集窗口还要跟着时间自动推移。
这个技能要解决的问题就是把这些琐碎环节串成一条有状态的流水线。你不需要每次手动导出、手动命名、手动对照目录,只需要维护两个配置文件,描述清楚“抓哪些号、按什么规则分类”,剩下的窗口计算、去重和导入计划都按固定流程跑完。
它实际怎么工作
前置依赖有三层:
wewe-rss服务:跑在本地 4000 端口,负责通过微信读书账号订阅公众号并落库到 SQLite,是文章数据的唯一来源。- IMA MCP 连接器:负责知识库文件夹的读取和
import_urls文章导入。 - 微信读书登录态:token 大约 4 天过期,过期后只能查到已订阅号的历史数据,新文章进不来;过期时走扫码脚本重新拿 token 再落库。
分类设计落在两个 JSON 配置里:
accounts.json给每个公众号指定cat类目。dual号先按标题关键词逐篇判定主题;vendor和competitor号内容天然相关,只排除非商业内容;sub字段用来做账号合并,比如把「华为云」和「华为中国政企」统一归到「华为」这个二级文件夹。keywords.json定义命中、排除以及国际/地市关键词,dual号必须命中hit_keywords之一才采集,命中exclude_keywords一律丢弃,标题命中国际或地市关键词则分别进入对应文件夹。
每一轮采集从读取 .last_end.txt 状态文件开始,计算出 [last_end+1, 今天] 的窗口,然后按固定九步推进:前置服务检查、查 SQLite 并分类输出、定位 IMA 文件夹 ID、拉取已有标题做去重、生成导入计划 import_plan.json、分批导入、更新状态文件、输出中文汇报。这个流程本身是可重复执行的,连续两次运行之间靠状态文件衔接,不需要人去记上次跑到哪。
几个工程上的注意点
- 只做标题级过滤。SQLite 的 articles 表没有正文字段,只能按标题匹配。这是有意为之的取舍——抓正文很容易被微信限频,稳定性优先。
- 严禁多进程并发。多进程争用同一个微信读书账号会直接死锁,重定向采集只能单进程串行。
- MCP 状态可能“看起来断了但还是能用”。connector 面板显示 disconnected 不代表工具不可执行,先尝试
ToolSearch加载工具 schema,再用DeferExecuteTool调用,只有完全找不到 schema 才判定不可用。 - 限频要绕。
refreshArticles全量刷新经常返回 500,改成逐个公众号刷新可以规避。 - 文件夹必须人工预建。IMA 没有建文件夹的工具,一级、二级、三级文件夹要在导入前手动建好,运行时用
get_knowledge_list找到已有 ID 并写入映射。 - 去重要做两层。IMA 内部对同 URL 不重复导入,但同标题不同 URL 的文章仍需根据已有标题列表过滤。
- 写接口有格式陷阱。wewe-rss 的 mutation 接口用 POST 裸 JSON,不能包成
{json:}或{input:};query 接口才用GET ?input=传参形式。
如果想把它自动化运行起来,一个双周五 17:00 的定时任务就是完整路径,运行前额外安排一次 token 状态检查,避免因为登录态过期导致整轮采集拿不到新文章。
使用场景
- {'text': '行业分析师每两周整理多个微信公众号的技术资讯,按关键词过滤后直接归档到 IMA 知识库。'}
- {'text': '竞品运营者定期收集友商公众号动态,剔除非商业内容后批量导入知识库。'}
- {'text': '政企团队汇总多个厂商旗下公众号信息,把华为云等账号内容合并到同一个 IMA 文件夹。'}
- {'text': '国际业务人员按周期捕捉标题中包含国际关键词的公众号文章,自动导入 IMA 统计口径文件夹。'}
适合人员
- {'role': '行业分析师', 'need': '按固定周期把指定公众号文章稳定导入知识库并保留分类结果'}
- {'role': '竞品运营者', 'need': '监控友商公众号更新,快速汇总进统一目录供团队查看'}
- {'role': '政务信息工作人员', 'need': '按地市关键词筛查公众号动态,减少人工挑拣和归档时间'}
- {'role': '知识库管理员', 'need': '维护 IMA 文件夹映射,确保每轮采集后的文章归属稳定可追溯'}