DeepSpeed
将以下提示词粘贴到你的 AI 对话框中:
请根据 https://skillhub.cn/install/skillhub.md,安装 @user_1a99cb00/deepspeed。
技能介绍
训练显存为什么会先撞上墙
当你把模型参数量、序列长度或 batch size 往上推时,最先爆的往往不是算力,而是单卡显存:优化器状态、梯度与参数副本会把 footprint 撑到无法在多 GPU 上简单「数据并行」就了事。DeepSpeed 是微软开源的深度学习训练与推理优化栈,设计目标就是在不改变你主要用 PyTorch 写模型代码的前提下,把大规模训练工程化。
技能会带你用哪些机制
ZeRO(Zero Redundancy Optimizer) 按 ZeRO-1/2/3 分阶段切分优化器状态、梯度与参数,减少各设备上的冗余占用;需要时还可配合 Offload 把部分状态落到 CPU 或 NVMe。分布式训练与推理 与现有 launch 流程对接,用于多机多卡扩展。混合精度 在数值稳定前提下降低内存与带宽压力。资料中强调与 PyTorch 及 Hugging Face 生态的集成,便于在已有训练脚本上挂载加速与省显存策略,而不是从零换框架。
适用边界
DeepSpeed 解决的是训练/推理阶段的系统级优化,不是替代数据管线、标注质量或模型结构本身。ZeRO 档位与 offload 会带来通信与 I/O 开销,小模型单机训练未必需要全开。离线推理吞吐、自定义 CUDA kernel 或完全非 PyTorch 栈的场景,应以官方文档与现有集成点为准评估是否匹配。
使用场景
- 多机多卡微调 7B+ 大模型时,单卡放不下优化器状态,需要用 ZeRO 分片继续训练
- 在 Hugging Face `Trainer` 流程里挂载 DeepSpeed,把现有脚本扩到更大 batch 或更长上下文
- 推理部署阶段用 DeepSpeed 推理模块压显存,在有限 GPU 上跑更大 batch 的在线服务
- 训练任务频繁 OOM,需要在不改模型结构的前提下用 offload 把部分状态迁到 CPU
适合人员
- 负责 LLM 预训练/微调的平台工程师,要把同一套 PyTorch 代码从 8 卡扩到多机且不能先改模型
- 用开源权重做 SFT 的算法工程师,显存不够时想系统性地选 ZeRO 档位而不是手工砍 batch
- 维护 GPU 集群的 MLOps,需要在 HF 与自研脚本之间统一分布式启动与混合精度策略
- 做模型服务化的推理工程师,要在固定显存预算下提高并发 batch 并评估 DeepSpeed 推理集成