Text Extract 私有文档提取管道

解决什么问题

把 PDF、Office 文档或扫描图片变成干净文本，看起来是一个extract调用的事，真做起来处处是坑：发票 PDF 里混着版式、扫描件没有文字层必须 OCR、医疗报告要按字段抽成 JSON，而且这些文档往往不能出内网。结果就是要么自建一堆散装脚本，要么把敏感文件发给第三方云服务。

这个技能针对的就是这条链路：在完全本地的环境里，把文档解析、OCR、结构化抽取和批量任务串成一条可复用的管道。

核心能力

• 统一输入：支持 PDF、Office 文件和图片，输出 Markdown 或结构化 JSON。
• 本地 OCR：OCR 后端基于 PyTorch 的 EasyOCR，通过 docker-compose 部署，扫描件也能拿到文字层。
• 可选 Ollama 模型：复杂抽取用本地 Ollama 模型，可以配合提示词文件控制输出格式。
• PII 脱敏：内置 example-invoice-remove-pii.txt 这类脱敏提示，抽取时直接去掉敏感字段。
• 排队批处理：基于 Celery 和 Redis 做任务队列，大批量文档不用写一次性脚本。

工作流程很直接：接口接收文档，进队列后由 worker 做解析或 OCR，再交给 Ollama 模型按提示词生成 Markdown 或 JSON，全程不离开你的开发机或服务器。

适用边界与注意点

• 技术栈要求不低：Python、FastAPI、Celery、Redis、Docker、Ollama 都要就位，适合已有部署能力的团队。
• 零外部依赖意味着没有云端兜底，OCR 和模型都在本地跑，需要自己承担硬件和性能开销。
• 复杂版式的文档（多栏、表格密集）效果取决于 OCR 和模型本身的能力，提示词文件需要针对具体文档反复调试。
• PII 脱敏靠提示词约束模型，不是严格的规则引擎，关键场景建议叠加后处理校验。

整体上，它更适合内网、合规敏感或数据不出域的场景，而不是追求开箱即用的轻量工具。