无向量库推理式 RAG 指南

为什么需要无向量 RAG？

当文档量中等、更新频繁时，向量数据库的运维成本（embedding 服务、库维护、重嵌开销）会成为团队负担。同时，向量检索的相似度结果难以解释，答案无法追溯到具体段落，更新文档后还需重新生成 embedding 才能生效。这些问题让不少工程师开始寻找更轻量的 RAG 方案。

无向量推理式 RAG 的核心能力

该技能基于 PageIndex 思想，通过结构化索引与模型推理替代向量检索，核心分为四步：

1. 切片建索引：将文档按语义页/块切分，建立包含标题层级、元数据的结构化索引，而非无差别分块。
2. 推理路由：让模型先判断“该查哪几页”，而非对所有文本块计算相似度，减少无效检索。
3. 取段作答：仅将命中的段落作为上下文喂给模型，既降低 token 消耗，又提升答案准确性。
4. 引用回溯：答案附带段落出处，用户可直接核对；索引更新后无需重嵌，修改立即生效。

适用边界与避坑要点

这种方法更适合中等规模文档（海量文档场景仍推荐向量库），但需注意：

• 避免索引过粗：块太大会导致路由命中后噪声过多，需按语义细切文本。
• 辅助推理路由：给模型提供标题、摘要等结构化信息，降低选错页的概率。
• 控制取段数量：命中段落过多仍会撑爆上下文，需限制单轮取段数。
• 同步文档与索引：修改文档后必须更新索引，否则会回答旧内容。