PDF 转 AI 就绪数据
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @kunlungrowth/pdf-ai-data-pipeline。
技能介绍
问题:入库前的 PDF 抽坏了,RAG 也会答坏
很多团队把 PDF 直接切块丢进向量库,结果召回差、表格串行、扫描件抽出空文本还以为成功。根因是入库前没有做好解析与结构化:文字丢段落、表格错位、坐标缺失,再强的模型也回溯不到原文。
这个技能做什么
它是一份文档数据工程方案,按抽取策略分层推进:
- 纯文本层:优先用 PDF 内嵌文本,速度快,适合原生电子档。
- 版面分析:对扫描件用 OCR + 版面检测,保留标题、段落与栏位结构。
- 表格:识别单元格边界,输出
Markdown表或二维数组,避免串行错列。 - 元数据:保留页码、章节与
bbox坐标,便于溯源和高亮回链。
输出建议是切片单元 {text, page, bbox, heading} 的 JSON 数组,便于向量化与定位;同时可生成带标签的 HTML,顺带满足无障碍合规。
关键步骤与校验
- 先判断 PDF 是文本型还是扫描型,再选策略。
- 表格不要按行串行,要以单元格边界重建。
- 质量清单:标题层级是否保留、跨页表格是否正确拼接、数字与单位是否未被 OCR 误读、每片是否带页码便于回链。
- 常见陷阱:全文直接入库不切片;忽略扫描件;表格按行串行导致数字张冠李戴。
适用边界与注意点
- 适用于文档问答、RAG 数据准备、PDF 表格抽取等场景。
- AI 输出以官方为准;涉及个人隐私或敏感文档时,处理与存储须符合数据保护相关要求。
使用场景
- 要把合同 PDF 转成带页码和 bbox 的 JSON,供检索系统回链原文。
- 将扫描版产品手册做 OCR 与版面分析,保留标题和栏位结构后入库。
- 从多份财报 PDF 抽取表格为 Markdown,避免跨页表格串行错列。
- 为文档问答做数据准备,检查切片是否保留章节与页码以便召回定位。
适合人员
- 知识库工程师:需要把 PDF 解析成可溯源 JSON,避免 RAG 召回跑偏。
- 数据工程师:负责扫描件 OCR 与版面保留,让文本和表格结构可验证。
- 文档平台后端:要输出带标签 HTML,兼顾无障碍合规与阅读定位。
- 内容运营或分析师:常从 PDF 抽取表格,担心数字和单位被 OCR 误读。