Agent Skills
返回列表
LLM Wiki 健康度检查

LLM Wiki 健康度检查

知识管理 更新于 2026.08.30

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @user_55161a2d/llm-wiki-health-score。

技能介绍

一个容易被忽略的问题:个人知识库很难被机器审计

工程师们常维护着 Obsidian、Logseq 或自建 Markdown 笔记库,里面有 raw 笔记、wiki 沉淀、schema 规则和日志。一旦规模上到几十个文件,问题就来了:阅读和回答的负担加重,索引和 wiki 之间的链接断裂,规则文档和实际维护流程慢慢脱节。人工 review 成本高,靠感觉又不可靠,没法在 CI 里稳定跑起来。

评分流程把审计拆成两层

该工具把审计拆成确定性扫描和语义抽样两层,最后用脚本合并出最终分。

第一层是 scripts/score_vault.py 做结构化扫描:

  • 检测 raw/、wiki/、AGENTS.md、RULES.md 等核心结构信号
  • 读取 index.md、核心文件索引.md、log.md 等导航和维护证据
  • 解析 Wiki 链接,标记悬空链接和同名文件冲突
  • 输出报告 llm-wiki-health-report.md / .json 和 semantic_scores.json 模板

第二层是按照 references/probe_questions.md 里的固定探针问题做语义抽样,从六个维度打分:

  • llm_wiki_architecture_fit(20%):三层结构和关系维护是否对齐卡帕西式 LLM Wiki
  • source_traceability(20%):结论能否追溯回 raw source
  • schema_governance_quality(15%):AGENTS.md / RULES.md 的规则质量
  • knowledge_sedimentation_effectiveness(25%):最新 wiki 沉淀是否忠实、完整、连贯
  • retrieval_answerability(10%):能否快速定位上下文并产出可引用答案
  • maintenance_evolution(10%):日志、lint、冲突处理是否支撑持续演化

只有输出 score_type = final_integrated_semantic_sampling 时才报告最终总分;没有语义 JSON 时不口头给分。CI 场景可以传 --require-final 强制拿到最终分,半成品会让脚本返回非零退出码。

几个容易误用的地方

  • 架构信号不是硬门槛。缺失 index.md 或 log.md 只会降低 llm_wiki_architecture_fit,不会直接判 0。
  • 维度权重是工程初始权重,不是论文验证过的通用值。要严格校准,得拿历史查询任务和用户满意度再标定。
  • “核心笔记关系维护”不能由 LLM 自由判定。脚本只采纳 CORE_RELATIONSHIPS_V1、关系块、lint/refresh/validate 命令等可观察证据。
  • 正文来源统计会剥离 CORE_* 自动生成块,避免关系块里的 raw 链接让来源支撑虚高。
  • 产物默认写入被评估知识库的 .workbuddy/llm-wiki-health/ 或指定目录,不会污染 skill 目录。

使用场景

  • 团队维护 Obsidian 知识库,需要确认 wiki 结论能否逐条追溯回 raw 笔记,并定位悬空链接
  • 在 CI 流水线里给知识库做健康检查,要求语义抽样未完成时退出码非零,避免半成品评分入库
  • 调整 AGENTS.md 和 RULES.md 规则后,评估规则是否完整一致可执行,验证 lint/refresh 等维护流程仍然有效
  • 用固定探针问题对 vault 做语义抽样,验证最新 wiki 沉淀是否忠实完整,为重组笔记结构标记证据充分的页面

适合人员

  • 自建个人知识库的工程师:想回答这个 vault 能不能支撑后续问答与检索,而不是凭感觉维护
  • 团队 Obsidian wiki 的负责人:在迁移目录或改动规则后,需要审计证据链与可维护性
  • 流水线维护者:想把知识库健康分做成合入门槛,要求半成品评分直接报错
  • 笔记工具或写作流研究员:需要一套固定探针,对多个 vault 做可复现、可比较的评分对比