上下文排序

解决什么问题

检索层通常先返回一个宽泛的候选集：向量检索、关键词检索或混合检索拿到 top-k（常见 k=15-30），其中不少片段只和查询擦边。如果直接把这些结果交给下游做上下文拼装，模型容易拿到一堆重复、偏题或信息密度不足的材料，回答随之变得空泛。上下文排序的目标就是把无序候选集转成有优先级的列表，让真正相关、多样且可用的信息浮上来，同时保留来源与置信度信息，方便后续 prompt 组装和引用校准。

核心能力与工作流

该技能采用多阶段排序，而不是只依赖单一分数：

• 第一阶段打分：对全部候选快速计算初步分数。关键词场景用 BM25，语义场景用 cosine similarity；混合检索可用 Reciprocal Rank Fusion (RRF) 或加权线性组合合并两类分数。
• Cross-Encoder 重排：把第一阶段的 top 候选（通常 15-25）送进 cross-encoder 重排器，如 Cohere Rerank、bge-reranker-v2-m3 或 ColBERTv2。相比双编码器独立打分，cross-encoder 对 query 与 chunk 做联合注意力，精度更高，代价是更慢。
• 多样性选择：重排后顶部结果可能挤在同一个子话题上。通过 Maximal Marginal Relevance (MMR) 惩罚与已选片段高度相似的候选，使最终列表覆盖查询的多个侧面。
• 最终打分与排序：综合重排相关性、多样性惩罚以及领域信号（如时效性、来源权威性），得到复合分，按降序取出 top-n（常见 n=3-7）作为注入 prompt 的上下文。
• 元数据与置信度：每个片段附带最终分数、来源路径和 high / medium / low 置信档位，供下游决定如何展示与引用。

适用边界与注意点

• 不要跳过重排：仅靠 embedding 余弦或 BM25 做最终排序，通常不如在 top 结果上加一层 cross-encoder 稳定。
• 多意图查询要开 MMR：像“X 是什么原因、怎么修”这类查询，若不做多样性选择，结果可能全在讲原因，修复步骤被挤掉。
• lambda 需要调：事实型问答可偏高相关性（如 0.7-0.8），探索式研究可提高多样性（如 0.4-0.5）；默认可从 0.6 起步。
• 成本与缓存：cross-encoder 推理较重，多轮对话中相同 query-chunk 组合应缓存分数。
• 评估指标：用 NDCG 和 MRR 在标注集上评估排序质量，比只看 Recall@k 更能反映排名好坏。
• 边界情况：分数并列时可按来源权威性、时效或信息密度破平；候选集超过 100 时建议先加阈值过滤再重排；跨语言查询需确认 embedding 与 reranker 支持，或先做翻译。