RAG架构设计器

要解决的具体问题

RAG系统设计常面临三重困境：文档结构复杂导致切分粒度难把控，嵌入模型与业务场景不匹配影响检索精度，混合检索策略缺乏统一评估标准导致质量波动。具体表现为：

• 长文档切分后语义断裂，关键信息被切割到不同块中
• 单纯向量检索无法覆盖关键词精确匹配需求
• 重排模型引入后召回率与响应速度的矛盾
• 评估环节依赖人工抽检，缺乏可量化的质量基准

技能如何工作

核心能力拆解

1. 语义感知切分

- 支持按语义边界或固定长度动态确定块大小
- 自动计算重叠区域（overlap）防止信息丢失
- 输出结构化切分方案供人工校验

1. 嵌入工程优化

- 提供模型选型决策树（精度/速度/成本三角权衡）
- 批处理嵌入生成与向量存储方案设计
- 支持增量更新机制设计

1. 混合检索策略

- 向量检索（ANN算法）与关键词检索（BM25）并行
- 引入重排模型（如cross-encoder）进行二次排序
- 输出融合策略参数（如权重分配、截断阈值）

1. 质量评估体系

- 召回率计算（精确率/召回率/F1值）
- 相关性人工抽检模板（含标注指南）
- 质量退化检测机制（如嵌入漂移监控）

关键工作流

1. 输入解析

- 接收自然语言需求（含约束条件）
- 解析代码片段中的现有实现
- 支持结构化RagDesign输入做二次优化

1. 分步执行

- 按切分→嵌入→检索→评估顺序生成方案
- 每阶段输出中间结果供确认
- 异常路径处理（如切分失败回退策略）

1. 输出规范

- 结构化工件RagDesign（含chunk_size, embed_model, store等字段）
- 自然语言摘要（含改进建议与质量自检结果）
- 完整方案模板（含工作流要点、陷阱警示）

适用边界与注意点

明确不适用场景

• 需要领域适配的模型微调（应使用fine-tuning-expert技能）
• 向量库集群运维（如Milvus分片策略调优）
• 实时性要求极高的场景（需额外优化延迟）

关键注意点

1. 切分策略验证

- 必须进行语义连贯性测试（可通过BERTScore等指标量化）
- 重叠区域需小于块大小的20%防止信息冗余

1. 嵌入模型选择

- 中文场景优先测试bge-large-zh系列模型
- 需评估max_seq_length与业务文档长度的匹配度

1. 混合检索调优

- 初期建议采用vector_weight=0.7的基线策略
- 重排模型需进行top_k参数敏感性测试

1. 评估闭环设计

- 必须建立至少包含50个标注样本的基准测试集
- 定期进行嵌入空间可视化分析（如t-SNE降维）

典型陷阱警示

• 过度追求小块切分导致上下文碎片化
• 盲目采用最新嵌入模型忽视部署成本
• 重排模型过深导致推理延迟超标
• 评估环节完全依赖人工标注不可持续

通过结构化工作流与明确质量基准，该技能将RAG系统设计从经验驱动转变为数据驱动，在保证技术可行性的同时提升工程可维护性。