技能介绍

多模态文档接入 RAG 的真实痛点

当你在构建检索增强生成（RAG）系统时，喂给模型的文档往往五花八门：PDF 技术手册、扫描版合同、带公式的论文截图、会议录音，甚至产品演示视频。传统文本抽取器要么只处理 纯文本，要么把复杂版面拆得支离破碎，表格和公式的位置完全丢失。OmniParse 技能要解决的就是这类“格式碎片化”问题，它把多模态输入统一转成结构化的 Markdown，让后续的 embedding 和向量检索能直接消费干净数据。

核心能力与关键步骤

这个技能本质是一个本地或 API 化的 OmniParse 封装。工作流分两步：

多格式输入解析：支持 文档（PDF、DOCX 等）、图像（截图、扫描件）、音频、视频以及 网页。每种输入走对应的抽取管道，例如图像用视觉模型做版面识别，音频先转写再结构化。
结构化输出：解析结果不是一堆零散文本，而是带层级关系的 Markdown，保留了标题、列表和表格的原始逻辑。这样入库到向量库或知识图谱时，chunk 切分和语义关联都更准确。

调用方只需把原始文件路径或 URL 传给技能，它会在后端调用 OmniParse 服务（本地或云端），返回可直接用于 RAG 流水线的 Markdown 文本。

适用边界与注意点

平台限制：服务端只能在 Linux 环境运行，Windows 和 macOS 不兼容，因为部分底层依赖与系统配置绑定。如果你在本地做开发测试，需要准备 Linux 容器或远程服务器。
计算资源：轻量文档用 CPU 即可，但处理视频或高分辨率图像时，GPU 是推荐项，否则队列积压会很明显。
部署方式：可以用 Docker 或 Skypilot 做隔离部署，避免污染主环境。
输入质控：扫描件清晰度低、表格跨页断裂时，解析准确率会下降，建议先做图像预处理。

总结来说，当你需要把多模态原始资料统一“洗”成高质量 Markdown 喂给 RAG 系统时，这个技能提供了一个轻量的工程化方案，但部署前务必确认你的基础设施能满足 Linux 和算力要求。