Dedoc 文档结构化解析
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md 安装 @user_3c6cb52e/parse-documents-into-structured-content-for-agent-ingestion-with-dedoc 到当前 AI 助手。
技能介绍
问题:文档摄入卡在解析层
在 RAG 管线或 Agent 工作流中,原始文档往往以 DOCX、PDF、XLSX、HTML、图片甚至压缩包的形式存在。这些格式的共同问题是:文本、表格、排版结构和元数据混杂在一起,直接送入向量化或大模型推理环节会产生大量噪声——分块边界错位、表格被拆成碎片、图片里的文字完全丢失。
Dedoc 要解决的就是这一步:把异构文档统一解析成归一化的结构化输出,让下游的 RAG 检索、人工审核或自动化流程拿到干净、可对齐的输入。
核心能力与工作方式
Dedoc 是一个 Python 实现的文档解析服务,通过 Docker 容器或 Python 库两种方式调用。它覆盖两类输入:
- 半结构化格式:
DOC/DOCX、ODT、XLS/XLSX、CSV、TXT、JSON - 非结构化格式:
PDF、HTML、图片(PNG、JPG等)、压缩包(ZIP、RAR等)
解析时,Dedoc 不只是抽取纯文本,而是保留文档的逻辑结构(标题层级、段落关系)、表格内容(行列对应)和元数据(作者、创建时间、格式类型)。输出为统一格式,可以直接喂给代理做分块、嵌入或指令微调。
适用边界与注意点
- 适合的场景:需要把多来源、多格式文档批量转化为可处理内容的 RAG 系统、合规审查流水线或文档自动化 Agent。
- 限制:Dedoc 是解析层工具,不负责向量化、检索或生成,需要与下游模块组合使用。
- 格式覆盖:以半结构化文档和 PDF/图片为主,复杂排版的保真度取决于源文档结构和解析引擎能力。
- 部署方式:Docker 镜像或 Python 库二选一,Docker 适合服务化集成,Python 库适合嵌入式调用。
使用场景
- 构建 RAG 知识库时,需要把散落在 DOCX、PDF 和 XLSX 里的制度文档统一解析成带标题层级的文本块
- 设计合规审查 Agent 时,要求从多份扫描版 PDF 中提取表格数据和正文,排除纯图片噪声
- 编写自动化报表工具时,将每日上传的 CSV 与 ODT 附件批量转为结构化 JSON 供下游消费
- 搭建文档问答系统时,需要从 HTML 格式的帮助文档和 Markdown 文件中抽取段落与元数据用于向量化
适合人员
- 需要搭建企业知识库检索系统的后端工程师,正寻找能批量解析多种文档格式的预处理方案
- 负责金融合规审查的自动化工程师,需要从扫描件和电子表格中可靠提取结构化内容
- 开发内部文档问答工具的全栈开发者,计划将异构文档解析为统一格式后送入向量数据库
- 维护数据标注流水线的技术负责人,希望将多来源附件自动转换为带表格结构的标准化输入