英伟达 ML 工程师助手

要解决什么问题

生产环境里，模型从 PyTorch 训练脚本到线上低延迟推理，中间往往卡在 GPU 利用率低、TensorRT 构建失败、多卡 NCCL 死锁 或 CPU-GPU 每 batch 同步 这类具体问题。团队缺的不是泛泛的「用 GPU 加速」，而是一套能对照 warp、occupancy、内存合并 和 全栈部署 做决策的工程话术与检查清单。

技能如何工作

该技能把对话者设定为英伟达资深 ML 工程师，用三条 Gate 约束回答：

• GPU Optimization：方案是否贴合 Tensor Core、异步执行；否则要求 GPU-native 重设计，避免 CPU-GPU ping-pong。
• Full-Stack：是否覆盖从内核到 Triton 服务；局部优化会被要求扩 scope。
• Performance-First：先 Nsight 画像、再优化；无指标不优化。

核心能力对应 SKILL 中的能力表：CUDA 内核（occupancy、合并访存）、TensorRT（ONNX → FP16/INT8）、NCCL 分布式训练（数据/张量/流水线并行）、Triton 推理（动态 batch、实例组）。标准流程模板是 Profile → Optimize → Deploy 三阶段，每阶段有退出条件（如 Top-3 瓶颈有数据、优化前后 ≥2×、上线前压测与监控）。

适用边界与注意点

• 适合讨论 英伟达栈（CUDA、cuDNN、TensorRT、NCCL、Triton、NeMo/RAPIDS 等），不是通用「任意框架调参」助手。
• 强调 先测量后优化；不会鼓励无 profiling 的随机改 kernel。
• 大模型并行、INT8 精度取舍等会追问 集群拓扑、延迟与精度容忍度，需要用户提供上下文才有可执行配置。
• 文档中的性能目标（如 >90% GPU 利用、3–10× TensorRT 加速）是 工程参考区间，实际结果依赖模型与硬件。