Milvus 向量数据库与 RAG 落地指南

要解决的问题

企业知识库常面临「换个说法就搜不到」的困境——传统关键词匹配无法理解语义，用户用不同措辞提问时召回率骤降。直接把文档丢给 LLM 则面临幻觉风险，模型会编造不存在的内容。RAG 通过先检索相关片段再生成答案来缓解这一问题，而向量数据库正是 RAG 检索引擎的核心，负责海量向量的高效存储与近邻检索（ANN）。

核心能力与关键步骤

• 选型与部署：根据数据敏感度与量级决定自建 Milvus 集群还是用轻量版或托管；按维度、数据量、QPS 规划分片与副本；生产与测试环境隔离。
• 索引策略：在线服务优先 HNSW（高召回、低延迟，但内存占用高）；离线或超大库可选 IVF 系列聚类量化；必要时做量化压缩降本。建议先用真实 query 评测召回率再定参数，避免拍脑袋。
• 混合检索：纯向量检索容易漏掉产品型号、法规条款等精确术语。将向量与 BM25 关键词检索融合后重排序（rerank），可显著提升企业知识库准确率。表格、流程图等非纯文本需先做版面解析与分块（chunking）再入库。
• 评测与治理：建立问答对测试集定期回归，检查召回完整性与引用准确性；每条回答附带来源文档与片段便于人工核对；知识库定期更新与失效下线，避免过期信息误导。

适用边界与注意点

知识库若含客户信息、合同等敏感内容，入库前必须做脱敏与权限分级。金融相关问答输出应标注「以机构与监管口径为准」，不替代专业意见。本指南聚焦 Milvus 生态的 RAG 落地，若使用其他向量数据库，索引策略与部署细节需相应调整。