vLLM-Plugin-FL FlagOS 环境搭建

要解决什么问题

标准 vLLM 主要面向 NVIDIA CUDA 等常见栈；若要在昇腾 NPU、MetaX、天数智芯、摩尔线程、海光 DCU 等后端上做推理与服务，往往需要各自对齐算子库、通信库和驱动环境，安装顺序也容易踩坑（例如 vLLM 版本必须锁定、Ascend 需先装 FlagTree）。

本技能面向 vLLM v0.13.0 与 vLLM-Plugin-FL 生态：通过 FlagOS 的 FlagGems（统一算子）与可选 FlagCX（多设备通信），把「识别硬件 → 装插件 → 装依赖 → 按芯片补配置 → 做一次离线推理验证」串成可执行的流程。

技能如何组织工作流

• 前置校验：确认 Linux、Python 3.10+、pip/Git，以及 vLLM 版本为 v0.13.0（官方发行版或 vllm-FL fork），避免与 FL 插件接口不匹配。
• 分步安装：先装 vLLM-Plugin-FL，再装 FlagGems；多机/多卡异构场景再装 FlagCX；单设备可跳过 FlagCX。
• 后端专项：按芯片查阅 references/ 下文档（如昇腾 npu.md、Iluvatar iluvatar_gpu.md、摩尔线程 mthreads_gpu.md），完成驱动与额外依赖。
• 快速验证：在本地解析模型路径后，确保启用 FL 插件（如环境变量 VLLM_PLUGINS='fl'），运行离线 batch 推理确认全栈可用；找不到模型时会引导用户提供路径而非硬编命令。
• 排障指引：覆盖 OOM（gpu_memory_utilization）、FlagGems 编译依赖、插件未加载、FlagCX 路径与 Ascend 特有问题等常见失败模式。

适用边界与注意点

• Ascend：安装 FlagGems 前必须先完成 FlagTree；不需要 FlagCX。
• FlagCX：仅面向分布式/多设备；单卡单设备可省略。
• 克隆 GitHub 失败时，技能会要求你提供 httpproxy / httpsproxy 等代理信息后重试，而不是假设网络始终可达。
• MetaX、平头哥、清微、海光等部分后端文档在资料中标注为 TBD，需以仓库最新 reference 为准。