Agent Skills
返回列表
💻

Nemotron Speech 语音 NIM

开发编程 更新于 2026.08.29

将以下提示词粘贴到你的 AI 对话框中:

请根据 https://skillhub.cn/install/skillhub.md,安装 @org-02qudk26/nemotron-speech。

技能介绍

要解决什么问题

NVIDIA 的语音 NIM 在文档与产品线上仍以 Riva 命名(命令、riva.client、容器与 gRPC),对外品牌则称 Nemotron Speech。工程师要在 ASR、TTS、NMT 之间选型,还要在 build.nvidia.com 云端与 自托管 Docker 两条路径间切换,并处理 VAD、说话人分离、自定义 .nemo 转 NIM 等细节时,很容易在前提条件、模型矩阵和参考文档之间来回跳转。

技能如何组织工作流

本技能把 Nemotron Speech / Riva NIM 相关任务当作路由问题:先识别你是部署、推理、自定义模型还是环境/兼容性检查,再指向 references/ 下对应说明,而不是一次性塞满全部步骤。

  • 环境与授权:自托管需 NVAIE、驱动、Docker、Container Toolkit、NGC 密钥;云端需 nvidia-riva-client 与有效的 NVIDIA_API_KEY。
  • 模态与模型:ASR(Parakeet、Canary、Whisper、流式等)、Magpie TTS、Riva Translate NMT 的部署与推理分文件说明;模型选型有独立决策框架,并强调以 NVIDIA 支持矩阵与 NGC 目录为准。
  • 进阶 ASR:自定义 NeMo(.nemo → RMIR → NIM)、流水线配置(VAD、说话人分离、语言模型、块大小)单独成文。
  • 就绪性检查:GPU/VRAM、容器健康、拉镜像 403 等跨任务问题汇总在 deployment-readiness 类参考里。

多步骤引导时,技能要求 Agent 用 「第 N/M 步 — 步骤名称」 宣告进度,便于长流程不丢上下文。

边界与注意点

  • 仅 x86_64;Windows 上 WSL2 需 Podman 且部分 NIM 受限。
  • 自托管依赖 NVIDIA AI Enterprise 许可证;密钥勿打印或提交仓库。
  • 自托管模型缓存目录需对容器内用户 nvs:1000 可写(常见 Permission denied 来自主机目录属主错误)。
  • 命令、镜像与官方 URL 不要改成 Nemotron 品牌名;版本细节以 docs.nvidia.com 与 build.nvidia.com 为准,而非技能内静态表格。

使用场景

  • 在自有 GPU 服务器上部署 Parakeet 或 Canary ASR NIM,并通过 gRPC/HTTP/WebSocket 接入实时转写
  • 仅有 build.nvidia.com 的 API Key,需要走云端推理完成 Magpie 语音合成或 ASR,而不搭建 NVAIE 自托管栈
  • 将微调得到的 NeMo `.nemo` 检查点按 RMIR→NIM 流程打包,并在 riva-build 阶段配置 VAD 与说话人分离
  • 上线 Riva Translate 前确认英德等语言对、DNT 标签,并先跑 deployment-readiness 检查 VRAM 与容器健康

适合人员

  • 负责企业语音中台、需在 NVAIE 授权下搭建 Docker 与 NGC 拉取流程的 GPU 平台工程师
  • 已用 NeMo 训练定制 ASR,要把 `.nemo` 转为可运维 NIM 容器并写进 CI 的机器学习工程师
  • 在 Parakeet、Whisper 与流式协议之间做选型,并需对照官方 ASR 支持矩阵确认功能与 VRAM 的语音产品后端开发
  • 集成英德等多语翻译链路,需要区分云端 NMT 与自托管 Magpie/ASR 部署路径的应用集成工程师