Agent Skills
返回列表
💻

Sentence-Transformers 模型训练

开发编程 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @org-02qudk26/train-sentence-transformers。

技能介绍

要解决什么问题

自研或微调 Sentence-Transformers 系模型时,常见痛点是:双编码器、CrossEncoder 重排序、SPLADE 稀疏编码器各自对应的损失函数、数据列形态、评估器键名不一致;智能体若只读路由用的 SKILL.md 就拼脚本,往往会漏掉 autocast、命名评估器的 metric_for_best_model、CrossEncoder 非 BCE 时的 activation_fn=Identity()、MNRL 的 BatchSamplers.NO_DUPLICATES 等生产细节,训练跑通但指标或 Hub 推送静默失败。

技能如何工作

本技能把 SentenceTransformer / CrossEncoder / SparseEncoder 三条线拆开,用表格和歧义消解规则帮你先定模型类型,再强制按类型加载 references/ 与 scripts/train_*_example.py 生产模板——复制模板改 MODEL_NAME、数据集、损失与评估器,而不是从零合成。

跨类型必读包括:training_args.md(精度:加载 fp32 + autocast,避免误用 torch_dtype=bfloat16)、dataset_formats.md、base_model_selection.md、troubleshooting.md。脚本契约包括:训练前捕获 baseline_eval、结束时输出 VERDICT: WIN|MARGINAL|REGRESSION、日志 tee 到 logs/、CrossEncoder 配 EarlyStoppingCallback、SparseEncoder 在结论里记录激活维度等。

适用边界与注意

本文件是路由,不是操作手册;写代码前需完整阅读该类型列出的 losses/evaluators 文档。默认本地单次运行;显存或多 GPU 再查 hardware_guide.md。prompt-tuned 基座(E5、BGE 等)需读 prompts_and_instructions.md。CPU 仅适合演示或 StaticEmbedding;正式训练强烈建议 GPU。

使用场景

  • 双编码器召回不准,需按 MNRL 损失与评估器模板微调领域语料的 SentenceTransformer
  • 两段式检索已有 bi-encoder top-100,需训练 CrossEncoder 做 query-passage 联合打分重排
  • 要在 Elasticsearch 或 OpenSearch 上跑学习型稀疏检索,需按 SpladeLoss 模板训练 SparseEncoder
  • 对比学习训练集缺难负样本,需用 `mine_hard_negatives.py` 挖掘后再接生产训练脚本

适合人员

  • 负责企业内部知识库语义检索、需从 E5/BGE 等基座微调嵌入模型的搜索算法工程师
  • 搭建 query 召回 + 精排两段流水线、需避免 CrossEncoder 评估排名静默崩塌的 NLP 应用开发者
  • 维护倒排索引检索栈、要把 SPLADE 稀疏向量接入 Lucene 系后端的检索基础设施工程师
  • 在 Hugging Face 上复现或迭代 sentence-transformers 训练、需 baseline_eval 与 VERDICT 可监控结论的 ML 工程师