万能OCR识别与音视频文字提取

要解决的具体问题

证件照、发票、合同截图散落在相册与聊天记录里，手工录入既慢又容易出错；录音和课程视频想转成文字，又得另外找 ASR 工具。普通 OCR 输出的往往是一整段乱序文本，字段还要自己从里面捞。这个技能的目标是把这些非结构化输入统一转成可编程的结构化数据，全程在本地完成。

核心能力与执行流程

技能基于 SmartExtract 6 合 1 框架，入口由 scripts/router.py 做智能路由：先按文件扩展名区分图片、音频、视频，图片再按用户指定类型或 auto 检测结果进入对应模块。

图片类处理链路：

• 身份证：scripts/idcard_ocr.py，输出姓名、性别、民族、出生日期、住址、18 位身份证号（自动校验校验码）
• 通用证件/票据：scripts/general_doc_ocr.py，覆盖营业执照、驾驶证、银行卡、名片、收据、证书，--type auto 会先 OCR 再用 LLM 判断类型
• 发票：scripts/invoice_ocr.py，识别增值税专票/普票，输出发票代码、号码、税额、价税合计等
• 表格图片：scripts/table_extractor.py，还原行列结构，输出 .xlsx 或 CSV
• 合同/简历/会议纪要：先 OCR 再用 references/ 下对应提示词模板做 LLM 提取，输出 Markdown 报告

音视频处理链路： scripts/transcribe.py 基于 Whisper 模型转写（默认 small，中文 WER 11.3%），再由 scripts/media_analyzer.py 生成摘要、核心要点和带优先级的待办表格。

图像预处理通过 AdaptVision 管道 自动执行：综合质量评分低于 0.6 时触发旋转矫正、亮度调整、对比度增强、锐化与自适应二值化。身份证识别采用 TripleShield 三引擎降级链：RapidOCR（主力，印刷中文测评排名第一）→ PaddleOCR（备用）→ EasyOCR（兜底）。

运行机制： 所有脚本从技能目录执行；首次运行 scripts/setup.py 下载模型（OCR 约 50MB + Whisper small 约 461MB），之后完全离线，~/.smart-media-extractor/ 内本地处理，不上传数据。

适用边界与注意点

• 对工整手写体有一定识别能力，但效果不如印刷体；模糊、倾斜、低对比度图片依赖 AdaptVision 增强
• 方言口音较重、强噪音环境会拉低转写准确率
• 不支持加密文件、损坏文件及 CAD 等非标准格式
• 图片 OCR 为核心依赖；音视频转写为可选依赖，环境不支持时自动跳过
• 合并单元格会拆成独立单元格，边框样式不保留
• 输出格式：身份证/发票为 JSON，表格为 .xlsx/CSV，LLM 提取与摘要为 Markdown，转写附带带时间戳的 JSON