向量数据库工程师
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @org-02qudk26/vector-database-engineer。
技能介绍
要解决什么问题
RAG、文档语义搜索和推荐系统都依赖「把文本/多模态内容变成向量,再在库里做近似最近邻检索」。工程上容易卡在:库和索引类型选错导致延迟或召回不达标、分块与元数据设计不当让检索上下文错位、只做纯向量搜索却漏掉关键词约束,以及数据量上来后重索引与监控缺失。
技能如何协助落地
本技能以向量数据库工程为主线,覆盖 Pinecone、Weaviate、Qdrant、Milvus、pgvector 等常见栈,并强调可执行的决策与验证:
- 选型与架构:结合数据规模、查询模式(点查、过滤、批量)设计存储与检索路径
- 嵌入与分块:嵌入模型与维度(如 384–1536)匹配用例;分块重叠、预处理管道
- 索引与搜索:HNSW、IVF、PQ 等索引配置;混合搜索(向量 + 关键字);元数据的预过滤/后过滤
- 性能与运维:延迟与召回权衡、缓存高频查询、嵌入漂移监控、索引重建规划
典型工作流包括:分析数据与查询模式 → 选嵌入模型 → 设计分块管道 → 选库与索引 → 配置元数据过滤 → 按需混合搜索 → 调优并建立监控/重索引策略。更细的示例见资料中的 resources/implementation-playbook.md。
适用边界
任务与向量库、嵌入、语义检索无关时不必启用;需要其他领域专用工具(与非向量检索栈为主的工作)时也应换用对应技能。使用时需先明确目标、约束和输入,再按步骤验证召回与延迟,而不是只给概念清单。
使用场景
- 内部知识库要上 RAG,需对比 Pinecone、Qdrant、pgvector 并设计分块与部门级元数据过滤。
- 生产环境文档语义检索召回不足,需调 HNSW/IVF 参数并在真实查询集上测延迟与召回。
- 合规或技术文档既要关键词命中又要语义相近,需在 Weaviate 等栈上落地向量+关键字混合搜索。
- 向量条目接近百万,需为 Milvus 集群做扩展、缓存热查询,并制定嵌入漂移监控与索引重建节奏。
适合人员
- 负责在现有 PostgreSQL 上接 pgvector 做产品检索的后端,需要索引类型与元数据预过滤方案
- 正在搭公司文档 RAG 管道的 ML/应用工程师,需要选嵌入维度、重叠分块和验证召回的步骤
- 运维 Pinecone/Qdrant 集群的平台或 SRE,需要在升级嵌入模型后规划重索引与监控指标
- 做内容或商品推荐的搜索工程师,要用向量相似度检索并平衡线上延迟与召回率