Indexion 语境分段
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @org-eyw2ohcx/trkbt10-indexion-skills-indexion-segment。
技能介绍
要解决什么问题
长文档若直接丢给嵌入模型或向量库,检索往往命中整段冗余上下文,或在主题切换处被粗暴按字数截断。要在子文档粒度上做相似度分析、RAG 切片或下游流水线,通常需要按语义或结构边界切块,而不是固定窗口硬切。
技能如何工作
indexion segment 提供三种分段策略,可按流水线需求切换:
window(默认):滑动窗口上的散度检测,用--threshold、--window-size与--adaptive控制切分粒度。tfidf:基于 TF-IDF 的主题变化检测,适合主题段落较分明的文本。punctuation:按标点与句子边界切分,适合结构规整的文稿。
常见调参包括 --min-size / --max-size / --target-size 约束片段长度,--hybrid 模式下用 --ncd-weight 与 --tfidf-weight 混合 NCD 与 TF-IDF;输出可通过 --prefix 指定文件前缀。
推荐流程:先用默认参数跑一遍,再按文档类型微调 --threshold 与 --target-size;混合内容文档可尝试 --hybrid 提高边界判断稳定性。
适用边界与注意点
分段质量依赖策略与阈值,法律条文、代码块、表格等混排内容可能需要单独预处理或换策略对比。punctuation 对无标点或机器生成流式文本效果有限;极短文本可能难以满足 --min-size 约束,需调低最小长度或换数据源。
使用场景
- 企业知识库入库前,需把 PDF 转出的长篇技术手册切成可检索片段再写入向量库
- 法规或合同正文要做条款级相似检索,需先按语义边界分段而非固定 512 token
- 多章节产品文档准备 embedding 流水线,要在章节主题切换处自动切块并控制片段在目标字数附近
- 实验对比三种分段策略时,需在同一源文件上切换 window、tfidf 与 punctuation 观察边界差异
适合人员
- 负责搭建 RAG 索引流水线的后端工程师,需要可配置策略的长文档切块工具
- 做信息检索实验的数据分析师,要在子文档粒度上跑相似度而非整篇文档
- 技术写作者或文档工程师,想把说明书按有意义段落导出给下游 NLP 处理
- 维护混合体裁语料(新闻+表格摘要)的 ML 工程师,想试 hybrid 模式稳定分段边界