技能介绍

解决文档切分中的结构丢失问题

在构建 RAG 检索层或 Agent 工作流时，原始文档切分是一个容易被低估的痛点。通用的递归文本分割器通常按字符或标点切分，这会导致 Markdown 结构被破坏：代码块被截断，表格被拆散，HTML 标签丢失闭合。对于基于语义向量检索的 RAG 系统，这种破坏会直接影响召回质量，因为切分后的片段失去了上下文依赖。

核心能力：结构保持与层级索引

该技能基于 anychunker 库，提供了 结构保持的块级 Markdown 切分。它不仅按块（Block）拆分文档，还为每个片段保留了完整的元数据，包括父节点和子节点 ID 索引。这意味着你可以重建文档的层级关系，在向量库中保留上下文脉络。

核心工作流如下：

环境校验：通过脚本检查依赖项是否完整，确保库可导入。
选择策略：根据文档类型（如代码、Markdown、纯文本）选择合适的分块器。
最小可用示例：建议先以最小参数（如 chunk_size 和 chunk_overlap）运行，验证切分效果。
层级重组：利用输出的 block_parent_id 和 block_child_id 在下游向量库中进行层级化存储。
批量迭代：支持 batchIterator 进行批量处理，避免因向量 API 限流或数据库插入压力导致的阻塞。

适用边界与注意点

虽然该技能支持多种切分策略（如语义切分、Token 级切分、语言感知切分），但需要注意：

可选依赖：高级功能（如基于 HuggingFace Tokenizer 的切分或语义切分）需要额外的库支持（如 transformers 或 sentence-transformers）。请按需安装，不要预装所有依赖。
验证优先：所有切分操作都应在本地脚本中验证输出，不要仅凭想象生成伪代码。
输入验证：在使用语义切分前，请确保你的 Embedding 模型可用且接口符合要求。