Hugging Face Hub 本地模型评估

要解决什么问题

你在 Hugging Face Hub 上挑了一个 checkpoint，想在本地硬件上跑 MMLU、GSM8K 或排行榜同款基准，而不是先搭一套远程 Jobs 编排。难点往往不在「能不能跑」，而在框架选型（inspect-ai 还是 lighteval）、推理后端（vLLM、Transformers、accelerate）以及 OOM 时的回退路径。

技能如何工作

本技能把本地评估收敛成三条脚本路径，并用「先烟雾、再扩规模」约束执行顺序：

• inspect-ai + Inference Providers：模型已被提供商覆盖、且任务已在 inspect-evals 里时，用 scripts/inspect_eval_uv.py，本地依赖最轻。
• inspect-ai + 本地 GPU：需要直接加载 Hub 权重或 vLLM 不支持架构时，用 scripts/inspect_vllm_uv.py，优先 --backend vllm，否则 --backend hf。
• lighteval + 本地 GPU：任务以 suite|task|num_fewshot 字符串表达（如 leaderboard|mmlu|5）时，用 scripts/lighteval_vllm_uv.py，优先 vLLM，回退 accelerate。

推荐工作流：先选框架 → 选后端 → 烟雾测试（inspect 加 --limit 10，lighteval 加 --max-samples 10）→ 通过后再全量。受限/私有模型需配置 HF_TOKEN；自定义建模代码常需 --trust-remote-code。本地执行优先 uv run；无 nvidia-smi 时可走提供商路径或改交接远程。

边界与注意点

不涵盖：Hugging Face Jobs 编排、model card / model-index 编辑、.eval_results 生成与发布、PR 或 community-evals 自动化。远程跑同一套脚本与参数应交接 hugging-face-jobs；要把结果纳入 community evals 发布流程，评估跑完后停止，发布交给 ~/code/community-evals。13B+ 全量本地评估通常需要高显存 GPU，否则更适合远程。