MinerU 大 PDF 分片提取
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_5d0d5d95/mineru-chunked-extract。
技能介绍
问题从哪来
MinerU 的 mineru-open-api extract 单次调用有 200 页上限,超页会报 [-60006] number of pages exceeds limit;flash-extract 在 20 页外也会失败。大部头教材、规范手册、年报往往远超这个范围。文件体积到 100 MB 附近时,还容易出现 context deadline exceeded(批处理或下载 zip 超时),一次「整本提取」经常在 API 边界上撞墙。
技能怎么干
本技能围绕 分片提取 → 合并输出 组织流程:先用全量 extract 探测;若未超页则直接结束,否则按 -ChunkSize(默认 200,大文件可 50)切开,对每段执行 mineru-open-api extract -f md --pages …,并拉长 -Timeout、支持分片重试。各段产物落在 part* 目录;全部完成后把各段 images/ 汇总到 merged_full/images/,按顺序拼接 Markdown(段间加分隔),写出 merged_full/*_full.md,再清理中间目录(-KeepParts 可保留调试)。
目录级任务走 Invoke-BatchMineruExtract.ps1:对文件夹内 PDF 逐个分片处理,可用 -AdaptiveChunk 按体积缩 chunk、-RetryFailed 用更小 chunk 重跑失败书目;v2 以是否存在 merged_full/*_full.md 判定成功,并支持断点续跑(已有合并结果则跳过)。脚本还会在末段触发「超出文档页范围」时解析真实总页数,避免无意义重复调用。
边界与注意
依赖已安装的 mineru-open-api 与 extract 模式 Token(401 需到 mineru.net 刷新)。默认 --model pipeline 侧重零幻觉,适合审计/法务类正文;版式复杂、图多时可切 vlm。输出路径需有写权限,避免沙箱受限目录。每段耗时以分钟计,Agent 侧应按 长任务 轮询而非阻塞一次等完。
使用场景
- 整本技术手册超过 200 页,需要完整 Markdown 而非只抽前几章时触发分片提取
- mineru-open-api 报 [-60006] 页数超限,要把同一 PDF 按页范围拆成多次 extract 再合并
- 仓库目录里有多本大型 PDF,需按文件名逐个转出并保留合并后的 *_full.md 与统一 images 目录
- 百兆级 PDF 在默认超时内下载 zip 失败,需把 ChunkSize 调到 50 并拉长单次调用 Timeout
适合人员
- 用 MinerU 做纸质扫描件 OCR 的知识库维护者,经常要整本政策法规 PDF 进检索系统
- 研究院里整理开源教材、会议论文集的研发工程师,目录里一次要转十几本 300 页以上的书
- 在 Windows 上用 PowerShell 编排文档流水线的运维,需要可断点续跑、失败用小 chunk 重试的批处理
- 法务/合规岗把长篇合同与披露文件转成可 diff 的 Markdown,且要求 pipeline 模型降低幻觉风险