Hugging Face 视觉模型云训练

要解决什么问题

视觉微调往往卡在本地 GPU、环境依赖和数据格式上：目标检测要处理 COCO/VOC 的 bbox 与类别映射，分类要对齐 image/label 列，SAM/SAM2 还要把 bbox 或点提示和掩码对齐。若在 Hugging Face Jobs 上跑，还常见 Hub 推送 401、超时过短、以及作业里令牌未注入到 training_args.hub_token 等问题。

技能如何工作

本技能围绕 HF Jobs + run_uv_job 上的三类训练脚本展开，配置一律通过 HfArgumentParser 的 CLI 参数（script_args）传递，而不是改脚本里的 Python 变量：

• 目标检测：scripts/object_detection_training.py，支持 D-FINE、RT-DETR v2、DETR、YOLOS 等；Hub 数据集需含 objects.bbox / objects.category，脚本会自动识别 xywh/xyxy、字符串类别转整数、缺失 image_id 补全。
• 图像分类：scripts/image_classification_training.py，支持 timm 与 Transformers 分类头；要求 Hub 上有 image 与 label（或常见别名）。
• SAM/SAM2 分割：scripts/sam_segmentation_training.py，用 bbox 或点提示微调，默认 冻结视觉与提示编码器，主要训练掩码解码器。

推荐流程：先决条件（Pro/Team/Enterprise、write 令牌、密钥传 token）→ 用 scripts/dataset_inspector.py 验证未知数据集 → 询问用户模型/硬件/epoch 等偏好 → 脚本保存到 submitted_jobs/ → 提交作业并回报 job id、监控与 Trackio。目标检测脚本内置 Trackio；超时需按数据规模设 2–12 小时 量级，并开启 push_to_hub=True 与 hub_model_id。

适用边界与注意点

• Jobs 通用问题（硬件列表、密钥语法、成本估算框架）应参考 hugging-face-jobs；文本/TRL 微调用 hugging-face-model-trainer，本技能不负责语言模型。
• 提交方式二选一：hf_jobs MCP（script 为代码字符串/URL，密钥用 "$HF_TOKEN"）或 HfApi().run_uv_job()（本地 .py 路径，密钥用真实 token）；二者 超时格式不同（字符串 vs 秒）。
• 常见失败：OOM 先减 batch/分辨率；格式错误 先跑 inspector；单类检测 需用最新 OD 模板处理 mAP 张量维度；性能差时优先加 epoch、样本量与图像尺寸，而非盲目换大模型。