LLM Wiki 健康度检查
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_55161a2d/llm-wiki-health-score。
技能介绍
一个容易被忽略的问题:个人知识库很难被机器审计
工程师们常维护着 Obsidian、Logseq 或自建 Markdown 笔记库,里面有 raw 笔记、wiki 沉淀、schema 规则和日志。一旦规模上到几十个文件,问题就来了:阅读和回答的负担加重,索引和 wiki 之间的链接断裂,规则文档和实际维护流程慢慢脱节。人工 review 成本高,靠感觉又不可靠,没法在 CI 里稳定跑起来。
评分流程把审计拆成两层
该工具把审计拆成确定性扫描和语义抽样两层,最后用脚本合并出最终分。
第一层是 scripts/score_vault.py 做结构化扫描:
- 检测
raw/、wiki/、AGENTS.md、RULES.md等核心结构信号 - 读取
index.md、核心文件索引.md、log.md等导航和维护证据 - 解析 Wiki 链接,标记悬空链接和同名文件冲突
- 输出报告
llm-wiki-health-report.md/.json和semantic_scores.json模板
第二层是按照 references/probe_questions.md 里的固定探针问题做语义抽样,从六个维度打分:
llm_wiki_architecture_fit(20%):三层结构和关系维护是否对齐卡帕西式 LLM Wikisource_traceability(20%):结论能否追溯回 raw sourceschema_governance_quality(15%):AGENTS.md/RULES.md的规则质量knowledge_sedimentation_effectiveness(25%):最新 wiki 沉淀是否忠实、完整、连贯retrieval_answerability(10%):能否快速定位上下文并产出可引用答案maintenance_evolution(10%):日志、lint、冲突处理是否支撑持续演化
只有输出 score_type = final_integrated_semantic_sampling 时才报告最终总分;没有语义 JSON 时不口头给分。CI 场景可以传 --require-final 强制拿到最终分,半成品会让脚本返回非零退出码。
几个容易误用的地方
- 架构信号不是硬门槛。缺失
index.md或log.md只会降低llm_wiki_architecture_fit,不会直接判 0。 - 维度权重是工程初始权重,不是论文验证过的通用值。要严格校准,得拿历史查询任务和用户满意度再标定。
- “核心笔记关系维护”不能由 LLM 自由判定。脚本只采纳
CORE_RELATIONSHIPS_V1、关系块、lint/refresh/validate命令等可观察证据。 - 正文来源统计会剥离
CORE_*自动生成块,避免关系块里的 raw 链接让来源支撑虚高。 - 产物默认写入被评估知识库的
.workbuddy/llm-wiki-health/或指定目录,不会污染 skill 目录。
使用场景
- 团队维护 Obsidian 知识库,需要确认 wiki 结论能否逐条追溯回 raw 笔记,并定位悬空链接
- 在 CI 流水线里给知识库做健康检查,要求语义抽样未完成时退出码非零,避免半成品评分入库
- 调整 AGENTS.md 和 RULES.md 规则后,评估规则是否完整一致可执行,验证 lint/refresh 等维护流程仍然有效
- 用固定探针问题对 vault 做语义抽样,验证最新 wiki 沉淀是否忠实完整,为重组笔记结构标记证据充分的页面
适合人员
- 自建个人知识库的工程师:想回答这个 vault 能不能支撑后续问答与检索,而不是凭感觉维护
- 团队 Obsidian wiki 的负责人:在迁移目录或改动规则后,需要审计证据链与可维护性
- 流水线维护者:想把知识库健康分做成合入门槛,要求半成品评分直接报错
- 笔记工具或写作流研究员:需要一套固定探针,对多个 vault 做可复现、可比较的评分对比