镜像站一键下载

问题从哪来

在国内或受限网络里拉 HuggingFace 模型、数据集或 GitHub 仓库时，常见情况是原站超时、ConnectionError，或 huggingface_hub 连不上官方 endpoint。反复对同一 URL 做 retry 往往只会浪费时间和日志噪音，真正有效的是尽快换一条可达的镜像路径。

技能怎么组织下载

技能的核心约定是：一次失败，立即切换，不要在原站上死磕。

1. 连通性检测：下载前用一条命令探测哪些源可用（等待上限约 4 秒），选第一个可用镜像再进入对应流程。
2. HuggingFace / 数据集：优先通过 HF_ENDPOINT 切到 hf-mirror，一般无需改业务代码；国产模型（Qwen、ChatGLM 等）可走 ModelScope，ID 与 HF 有固定映射表，不确定时可查映射或搜索脚本。
3. 单文件：适合用 wget / aria2 直链下载。
4. GitHub：可按场景选 GitCode 镜像、ghproxy 类加速，或只下 Release 压缩包而不 clone 全库。
5. 排错：遇到报错可对照速查表（超时、SSL、Gated 模型、git 连不上等），并参考 scripts/diagnose.py 做自动诊断与方案推荐；封装逻辑见 scripts/mirror_download.py。

下载完成后应按技能中的验证步骤核对文件完整性，避免「下完了但权重损坏」。

适用边界

• 需要登录或授权的 Gated 模型，仍要提供 --token 或改用 ModelScope 等已授权渠道；镜像不能绕过许可。
• Repository not found 多半是 ID 写错，应查 HF→ModelScope 映射，而不是继续换镜像。
• 镜像可用性与维护方策略会变，连通性检测的意义就是按当前网络选路，而不是保证某一镜像永远在线。