RAG 工程师
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @org-02qudk26/rag-engineer-zh。
技能介绍
问题从哪来
把文档丢进向量库再让 LLM 回答,听起来简单,但检索质量直接决定生成质量:分块切断了句子、相似度度量与内容类型不匹配、第一轮检索结果未经重排就塞进上下文——这些都会让模型在「看起来有依据」的前提下仍然胡编。
技能如何帮你设计 RAG
本技能以 RAG 系统架构师 视角工作,核心不是堆工具,而是把管道拆清楚:
- 文档分块与预处理:优先语义分块,按意义与文档结构切分,避免固定
token窗口破坏上下文。 - 向量嵌入与相似度搜索:按内容类型评估嵌入模型与维度,而不是「一个模型打天下」。
- 检索管道:支持分层检索(由粗到细)、混合搜索(关键词 + 语义),并在首轮检索后增加重排序与相关性阈值,而不是把最大上下文硬塞进提示词。
- 上下文窗口:在召回与窗口之间做权衡,用阈值过滤低相关片段。
推荐模式包括语义分块、分层检索、混合搜索;明确反对固定分块大小、全量无差别嵌入、以及不做评估就上线。
适用边界与注意点
你需要具备 LLM 基础、嵌入概念和基本 NLP 常识。源文档变更时要规划嵌入刷新;检索与生成应分开评估(只测答案好坏会掩盖检索失败)。不同查询类型不宜共用同一检索策略——复杂场景常与 ai-agents-architect、prompt-engineer、database-architect、backend 等技能配合更顺。
使用场景
- 内部知识库上线前,需按文档结构做语义分块并设计混合检索,避免固定 token 窗口切断段落。
- 线上问答经常引用错误片段,需要把检索与生成分开评估,并加入重排序与元数据预过滤。
- 索引中同时有制度文档与技术手册,要按内容类型选型嵌入模型并校准相似度度量。
- 用户查询混有精确编号与自然语言描述,要设计关键词检索与向量检索并行的混合策略。
适合人员
- 负责把企业文档接入问答系统的后端工程师,需要先定分块、嵌入刷新与检索管道再接 LLM。
- 能调通生成但召回片段不对的算法工程师,希望单独测检索召回并引入分层检索与重排。
- 从 PoC 迁到生产的数据平台工程师,要替换「全量嵌入、固定分块」并建立评估基线。
- 在 Agent 里接知识库模块的全栈开发者,需要在有限上下文内用相关性阈值控制注入内容。