非结构化文档分区 ETL 库

解决什么问题

LLM 管道只能消化干净的文本，但真实业务里的数据散落在 PDF、Word、HTML、邮件里，格式千奇百怪：双栏论文、带表格的财报、扫描件。直接把整份文档塞进上下文，要么被截断，要么混入页眉页脚噪声，RAG 检索和信息抽取的效果都会打折。

核心能力与工作方式

这个技能把「从乱文档到结构化元素」的链路封装成三步：

• partition（分区）：调用 partition_pdf() 等入口，把 PDF、HTML、Office 文档、邮件切分成细粒度元素，并保留元数据。
• clean（清洗）：用 clean_text() 去除多余空白、合并碎片，产出干净的文本流。
• transform（转换）：面向下游做结构化整理。

SKILL.md 给出的 DocumentProcessor 示例演示了最小管道：构造 processor → process("example.pdf") → 返回清洗结果。产出可喂给 RAG 分块器，也可作为搜索索引或抽取模型的输入。

适用边界与注意点

• 上游要求 Python 3.11+；扫描件、复杂表格等格式需要额外的视觉模型或依赖，不存在零配置万能解。
• 分区粒度和元数据质量随文档类型波动：Office 与 HTML 通常比 PDF 稳定，排版密集的 PDF 需要实测。
• 它只是预处理层，向量化与检索本身不在此范围内。