技能介绍

解决什么问题

做本地 RAG、语义搜索或文风对齐时，embedding 往往是最先卡住的一环：调云厂商 API 要 Key、按量计费，文本还要离开内网；不少项目因此只能退回关键词匹配，召回质量明显打折。这个技能把 embedding 模型拉到本地跑，不依赖任何 OpenAI 风格的 API，适合离线、内网或隐私敏感的部署。

核心架构与工作方式

双路径设计是它的基础：

mode="nn"：基于 sentence-transformers/all-MiniLM-L6-v2，输出 768 维稠密向量，短文本约 55 句/秒（AMD 5500U，纯 CPU），官方基准下质量约为 ada-002 的 85–90%
mode="stat"：TF-IDF 关键词重叠 + N-gram Jaccard + 编辑距离归一化，纯标准库实现，吞吐量可达万句/秒
mode="auto"：优先 nn，环境缺依赖时自动降级到 stat，零配置即可运行

长文本处理走滑动窗口：超过 1024 字符自动分段，chunk_size=512、overlap=128，各块独立编码后平均池化成最终向量。5000 字左右的文本若不分段，nn 路径会 OOM。

v2.0 的四项新增能力：

SQLite 持久化向量库：向量与元数据落盘，重启不丢；按 hash 做增量更新，rebuild_index() 支持全量重建
多文档索引：index_file / index_directory 按 ##/### 标题自动分段，IDF 基于整个语料库做全局归一化
BM25 混合搜索：语义向量与关键词双通道，α=0.7, β=0.3 权重可调，可返回 high/medium/low 置信度
自进化反馈：learn_feedback() 记录人工纠正，同一 label 累计 ≥3 条后给出权重调整建议，持久化到 feedback.jsonl

适用边界

nn 路径需要 sentence-transformers（torch CPU 约 200MB + 模型 22MB）；stat 路径语义能力较弱，只适合兜底或关键词偏重的场景
85–90% 是相对 ada-002 的估计值，高精度检索（如法律、医疗）仍需自行评测，或考虑更大的模型
SQLite 支持多进程读，但不支持并发写，多写场景要自行串行化或加锁
内网访问 Hugging Face 受限时需配置镜像（已内置 HF_ENDPOINT）